零代码将AI应用迁移到生产环境！解读英特尔的AI软件布局

芯东西（ID：aichip001）
文 | 心缘

芯东西4月21日消息，在单机环境中，构建人工智能（AI）模型对数据科学家来说不算难事，但如何很方便地将整个分布式架构构建起来、将AI模型应用到生产数据中，却令许多数据科学家感到头疼。

把应用从笔记本电脑搬到生产环境的过程相当漫长。在笔记本电脑上用样本数据构造出原型后，需在集群上利用历史数据去运行模型试验，然后再在生产环境中将这个算法部署上线。

在此过程中，很多时候数据科学家不得不重写代码、进行模型转换、数据传输与拷贝等工作，工作量非常大。

那么能不能构建一个端到端的流水线，几乎无需修改任何代码，就可以无缝、自动化地将AI应用从笔记本电脑搬到分布式环境中呢？

这是英特尔大数据分析和人工智能创新院正着力实现的愿景。自去年6月在中国成立以来，该创新院一直致力于通过优化的库、软件与工具组合，真正提高数据分析和AI落地在实际生产环境中的效率。

近日，通过对话英特尔大数据技术全球CTO、大数据分析和人工智能创新院院长戴金权，我们试图看清英特尔在人工智能软件布局上，究竟在下怎样一盘棋？

▲英特尔大数据技术全球CTO、大数据分析和人工智能创新院院长戴金权

一、创新院应用研究的“三驾马车”

英特尔希望构建一个统一大数据分析和AI的端到端流水线，可以直接访问生产数据，当用户需要将AI应用从笔记本电脑迁移到大型集群进行分布式训练或推理时，几乎不需要修改任何代码。

为了实现这一愿景，英特尔大数据分析与人工智能创新院的方法是应用研究，具体而言有“三驾马车”：前沿技术研究、开源软件平台、实际应用落地。

前沿技术研究可分为两个阶段，早期研究如何在大数据平台上高效构建深度学习应用，下一步研究则侧重于在大数据环境下更好地将AI进行自动化和无缝扩展。

据戴金权透露，在今年6月的CVPR学术会议上，英特尔大数据分析和人工智能创新院将对其最新工作进行一个阶段性报告，主要工作即是如何在分布式大数据环境中，将机器学习工作流自动化地构建出来。

开源软件平台包括基于Apache Spark的分布式高性能深度学习框架BigDL和统一的大数据分析+人工智能平台Analytics Zoo。

BigDL与TensorFlow、Caffe等框架的功能类似，能在现有的Hadoop和Spark集群上构建各种数据分析和深度学习应用。Analytics Zoo则被定位为一个框架之上的软件平台，主要特点是支持各种不同的深度学习框架和大数据框架、库和工具。

这些平台在利用硬件计算能力的同时，也通过构建开源生态系统能实现更加自动化、无缝的感知，更好地帮助用户解决问题。

很多英特尔的用户、客户和合作伙伴已采用此类开源软件平台，戴金权举了一些最新的国内外实际应用落地案例。

在国内，Analytics Zoo已集成于阿里云E-MapReduce服务上，该服务可直接运行深度学习应用。在去年的阿里云天池大赛上，英特尔还曾利用Flink加上Analytics Zoo来提供实时的垃圾分类检测的工作。

Analytics Zoo也集成在腾讯云智能钛机器学习TI-ONE平台当中，提供各种基于大数据的深度学习的数据处理和分析。

东软将基于AutoML时间序列分析的功能集成在其应用性能管理产品RealSight APM中，为他们的用户提供应用性能的管理和分析。

金风慧能基于Analytics Zoo构建AI应用，将部分地区功率预测准确率从60%提升到80%以上，从而达到节能的效果。

在国外，Analytics Zoo已集成于美国IBM Cloud Pak for Data中，美国万事达（Mastercard）基于Analytics Zoo和BigDL构建了深度学习推荐服务，欧洲原子研究机构CERN基于Analytics Zoo 和 BigDL 构建了大型强子对撞机的实时事件过滤器；韩国最大的电信公司SK Telecom基于Analytics Zoo构建了智能通讯网络管理。

二、Analytics Zoo的三层功能

Analytics Zoo构建在英特尔oneAPI底层的软件层上，以此为基础提供三层功能。

第一层是统一的数据分析和AI流水线，可提供相对水平的流水线，帮用户将AI、深度学习可以扩展到大规模分布式的大数据环境当中。

在这一层中，Analytics Zoo将TensorFlow、Keras、PyTorch、BigDL、Spark、Flink等框架有机整合在一起，当用户想针对其应用需求采用适合的处理方式时，能更加灵活地构建端到端的工作流。

例如SK Telecom、Mastercard等使用Analytics Zoo在Spark上运行大规模分布式TensorFlow来处理他们的数据。

第二层是一个自动化的机器学习工作流，能够通过AutoML等自动化方法帮助用户构建下层的流水线。东软、腾讯云等客户均与英特尔合作使用这样的功能。

最上层针对不同应用场景，提供相应的模型和算法，用户也可以在Analytics Zoo平台上使用任何标准的深度学习框架，包括TensorFlow、PyTorch等。

三、从整体软件布局看英特尔的AI底气

在人们的印象中，英特尔是一家硬件技术实力雄厚的芯片公司，但它在人工智能软件领域的严密布局同样不容小觑。

（编辑：555手机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!