VideoStorm【9】是普林斯顿的Haoyu在微软研究院实习的时候做的工作。随着DNN在图像视频领域的物体识别追踪上的不断发展，利用这一方法实时的分析监控摄像头的数据，完成如车辆追踪这样的人工智能任务已成为现实的需求。这篇文章针对这样一个典型的人工智能应用，探讨在给定资源下，综合考虑多种视频流任务的不同质量和不同延迟这一需求，如何分配云端资源来同时处理成千上万个视频流数据任务的方法。这个系统已经在美国华盛顿州的贝尔维尤市完成部署，为实时交通数据的分析服务。这个实际的问题是深度学习从理论走向实践的过程中会遭遇的现实挑战，随着更多这种应用的部署，相关的网络系统都蕴含着更多类似的新研究机会。

Big Data session中的四篇文章有三篇跟机器学习相关，第一篇是来自于伯克利RICE实验室，其前身是AMPLab，其产出不止包括有影响力的论文，更是有影响力的开源项目和创业公司，由Databricks公司主导的Spark项目已经在大数据领域发展出繁荣的生态链。而在这次的NSDI上，他们发表了Clipper【10】系统。这是一个以通用性和低延迟为目标的机器学习服务(serving) 系统，对用户端提供统一的接口，而底层则适配多种框架，包括 Spark MLlib，Caffe，Tensorflow，Scikit-Learn等，从而简化这种服务系统的部署工作。Clipper系统通过应用缓存(caching)，批处理(batching)，以及自适应模型选择(adaptive model selection)来优化延迟，提高吞吐率、准确率、和鲁棒性。在当前机器学习技术广泛应用，深度学习框架繁荣发展的现状下，Clipper携Spark在大数据系统上的领先地位和MLlib，试图用一个前端框架一统model serving部分，可以说是雄心勃勃。然而不同于大数据时代，如今深度学习有更多的底层框架，比如说CNTK和MXNet，也更加依赖异构的硬件平台，比如说GPU、FPGA和以Google的TPU为代表的ASIC，以及计算密集型应用要求对于性能上的极致压榨，这些都为大一统平台带来了更多的挑战。这次他们能否成功，我们将拭目以待。

第二篇则是来自CMU的Gaia【11】，讨论如何设计系统来对基于全球分布(geo-distributed)的机器学习数据进行训练。现在很多全球化的服务，比如说搜索引擎，都是部署在世界各地的数据中心中就近服务世界各地的用户。数据中心内部一般都部署有低延迟高带宽的网络，而数据中心间的互联网(WANs)则可能很慢，直接在不同数据中心间的数据上训练机器学习模型，其训练过程会严重受限于数据中心间的网络，文章报告了高达53x的性能下降。这个工作通过解耦数据中心内部和外部的同步模型来优化性能，提出了一个新的一致性模型 (Approximate Synchronous Parallel) 来进一步的减少数据中心间的网络通信，并且保持机器学习模型的收敛率。这个工作和Google日前宣布的Federated Learning的工作都是旨在考虑互联网范围内机器学习模型的训练问题，后者将训练数据分散到成千上万的用户手机中，协同训练机器模型以提升模型质量，降低延迟。一方面数据中心间乃至普通互联网中的网络存在带宽低、延迟高、不稳定等问题，另一方面机器学习模型又具有一定程度的容忍错误和延迟更新的特性，这涉及到网络和机器学习算法的协同设计(co-design)的问题，非常的有趣。

第三篇是我们的工作【12】，是一个为分布式机器学习设计的全新图计算引擎。

图计算是一个经典的问题，很多的图计算系统都专注为诸如PageRank这样的经典图计算问题优化，提供简单而并行无关的编程模型，并且可以在系统内部感知图结构进行系统层面优化，从而高性能地进行横向扩展，支持海量数据。我们的上一个工作，被录取在SoCC’15上的GraM【13】已经可以高效支持高达万亿（trillion）边数的超大规模图计算。

基于我们对于机器学习应用的思考，我们发现多种重要的机器学习算法都有内在的图结构模型。然而与图计算算法不同，机器学习算法并不是很适合用现有的图计算引擎来处理，原因可以分为两个层面，其一是缺乏对于重要机器学习概念的支持，例如小分批(mini-batch)和宽松的一致性模型，其二原有图模型过于简单并且在模型抽象上灵活性过低，从而为机器学习算法编程和高效执行都带来了问题。