-大规模深度学习：客户希望为他们的深度学习模型提供越来越多的数据，以提高训练的准确性。许多人选择在大数据（Haoop/Spark）平台之上构建深度学习功能，以便利用其水平扩展架构，分析大规模训练数据。

　　当为客户解决这些问题时，第一反应是将现有的深度学习框架集成到客户的大数据平台上，希望将他们的深度学习能力和 Spark / Hadoop 的可扩展性结合在一起；但是这样的整合仅仅停留在表面，而缺乏在数据处理或模型集成上的无缝集成。这是我们引入 BigDL 的最大驱动因素。BigDL 与现有深度学习框架的功能一致，但是 BigDL 的优点是它原生地建立在 Spark 上，并且天然地继承了 Spark 的可扩展性，并且与现有大数据处理工作流（例如 Spark ML pipeline，SparkSQL, Spark Streaming, Dataframes, Structured Streaming 等）无缝集成。所以 BigDL 特别适用于有大量数据需要管理，以及拥有（或将拥有）大数据平台（Hadoop/Spark）的分析客户。

　　BigDL 的应用案例和未来改进方向

　　新智元：BigDL 现在主要应用于哪些领域？您是否可以介绍一两个应用的案例？

　　马子雅：BigDL 的目标是大大降低普通大数据用户和数据科学家，使用深度学习进行数据分析和构建人工智能应用的门槛；所以 BigDL 可以和现有大数据分析的工作流（例如Spark ML pipeline，SparkSQL, Spark Streaming, Dataframes, Structured Streaming 等）进行无缝集成。BigDL 虽然是在几个月前开源的，但实际上我们已经与一些早期合作者，基于以上特性成功构建了基于 BigDL 的深度学习（和人工智能）的端到端的应用案例。

　　第一个客户案例是在钢铁制造行业的应用。提高钢表面缺陷的识别精度对钢铁生产和质量控制非常重要；我们与一个知名的钢铁生产商合作，使用 Spark 和 BigDL 实现了端到端的深度学习流水线，用于产品缺陷图像识别。由此客户显著地提高了其缺陷识别的精度和能力。

　　对于金融服务公司来说，由于其广泛的产品、服务和客户互动渠道，他们面临的欺诈交易风险大大增加了。我们与一家金融服务公司合作，使用 Spark 和 BigDL 实 施了端到端的学习流水线，即时分析大量数据，为此显著地提高了欺诈交易检测率。

　　新智元：BigDL 之后会在哪些方面做出改进？比如，是否会提供 Python API ？是否会允许更多的其他框架训练好的模型载入？

　　马子雅：Jason Dai 是我们大数据技术全球 CTO，他在 BigDL 的架构构建和工程开发方面发挥了重要的领导作用。在开源后 BigDL 项目得到了全世界许多开源社区用户的积极参与：例如在 BigDL 开源不到两个月后，InfoWorld 就在其对深度学习趋势的预测中，将 BigDL 与 TensorFlow、Caffe 等一起并列为目前最流行的深度学习框架；Jason 和他在上海及硅谷的团队，基于全世界 BigDL 社区用户提供的反馈，以及和我们全球的客户/合作伙伴的密切合作，为 BigDL 项目制定了将来的路线图（包括新功能、可用性、可扩展性等方面）。我们的下一个版本将在第一季度末左右发布，主要更新包括：增加对 PythonAPI 的支持，提供更好的可视化体验（利用 Notebook 和 TensorBoard），增加对 macOS 的支持，提供更丰富的 RNN 支持（如对 LSTM 、GRU 等算法的支持）等等。

　　Intel-analytics 的其他开源库及对各类深度学习任务的支持

　　新智元：除了 BigDL，我们知道 Intel-analytics下面还有另外的开源库：比如 SparseML等；您是否可以比较一下，这些开源库分别有什么特点？应用于哪些场景？

　　马子雅：BigDL 能为那些拥有大量数据、以及已建（或将建）大数据集群的用户，提供构建基于深度学习（和人工智能）的大数据分析的最优服务。BigDL 天生就可以运行在现有标准的大数据平台（Hadoop/Spark）之上，利用公共的数据基础架构，在数据采集、特征提取、传统机器学习和深度学习工作负载等方面，为客户提供统一的和无缝集成的完整体验。它支持大规模的深度学习和机器学习，并提供自动容错和自动动态弹性资源管理。