译者：刘小芹、张易

　　【新智元导读】作为每年定期在全球多个城市举办，聚集来自全球领先大数据企业及用户的顶级技术峰会，Strata + Hadoop World 今年的大会于3月14日在美国硅谷召开。而O’Reilly 宣布会议从此以后改名为 Strata Data Conference，也宣告了 Hadoop 时代的终结。本文整理了这次峰会 Keynote 的精华内容。重点在于使用高效的方式从存储和处理大数据转为新的机器学习技术，以从现有的数据中获取更高的价值。不过，即使聚光灯已经从大数据转移到机器学习（以及诸如深度学习等更先进的技术领域），从实现的角度来看，分布式和可扩展的处理仍然占据主导地位，因为大多数流行的机器学习模型对输入数据和计算力都有着无尽的需求。

　　新智元327技术大会爱奇艺回播视频链接，请点击阅读原文。

　　Strata + Hadoop World 是一个每年定期在全球多个城市举办，聚集来自全球领先大数据企业及用户的顶级技术峰会。今年的大会于3月14日在美国硅谷召开，本文整理了这次峰会 Keynote 的精华内容。重点在于使用高效的方式从存储和处理大数据转为新的机器学习技术，以从现有的数据中获取更高的价值。

　　不过，即使聚光灯已经从大数据转移到机器学习（以及诸如深度学习等更先进的技术领域），从实现的角度来看，分布式和可扩展的处理仍然占据主导地位，因为大多数流行的机器学习模型对输入数据和计算力都有着无尽的需求。

　　再见，Hadoop时代

　　值得一提的是，从2007年开源以后，Hadoop 及其相关技术就成为了数据科学的深层驱动力。但是，我们都知道， 虽然 Hadoop/MapReduce 留下了自己的印记，但它已经不再是前沿技术了。 实际上，我们知道 Apache Spark 已经抢了Hadoop 的风头，说 Spark 是去年的热门新闻也不为过。

　　终于，在今年的Strata+Hadoop 大会上，O’Reilly 宣布从此以后会议改名为 Strata Data Conference。所以，Hadoop 的时代，再见了。

　　演讲撷英

　　Cloudera CSO 及董事长 Mike Olson 谈到“机器学习的复兴”，说 ML 和 AI 的大部分基本技术是在20世纪60年代和70年代发明的。当时，这些技术引起了很多有关这个领域具有何等潜力的炒作。然而，所有这些炒作都崩溃了，因为当时没有足够的数据提供给这些数据饥饿型的模型，而且处理数据所需的计算力也非常昂贵。随着ML的关键要素（大数据和成本更低的计算力）变得越来越易得（感谢大数据革命），我们正在目睹 ML 的复兴。虽然 Map-Reduce 仍然是有价值的，但现在更受关注的是由 Apache Spark 支持的横向扩展的机器学习应用。他介绍了 Cloudera 的数据科学工具 Workbench，这是一个面向企业的自助型数据科学工具，可以作为数据科学研究（主要用 R，Python 等编程）与操作化（主要用C ++或Java编程，用于高性能执行）之间的桥梁。Coursera 联合创始人 Daphne Koller 发表“在规模化教育中应用数据与机器学习”的主旨演讲。自2012年成立以来，Coursera 作为一个mooc平台，已经拥有 2500 万学习者（其中75%所在区域在美国之外）和超过2000门课程（180个专业），如此快速的增长使得用户更难找到适合自己需求的课程。因此，Coursera 应用数据科学和机器学习来解决内容发现方面的问题，并提供相关的课程推荐。这是通过二级分类器实现的。在最高级别，使用 t-SNE 嵌入到课程协同注册矩阵，j2直播，所有课程被分为100个聚类。第二个分类器用于鉴定聚类中可以向用户推荐的某个特定课程。Koller 提到，在使用数据科学来促成教育领域的进步和提高效率方面，仍然非常缺乏。

　　MapR Technologies 首席应用架构师 Ted Dunning 谈到“互联网的颠覆：将大数据推向边缘”。截至今天，互联网基础设施是建立在少量的服务大量消费者的大型服务器之上的。总投资由消费者基数主导，但是，成本由另一端的服务器驱动，也就是说，位元密度（bit density）和美元密度（dollar density）一样高。

　　在物联网模式中，基础设施的设计得到改善。有无数机器负责收集和处理数据，然后将量度（metrics）传递给服务器。在这样的模式中，成本由大量的机器（单节点或小聚类）驱动，而收入则由服务器或其他平台设备驱动，由于位元密度较低，这些设备可以执行更多任务。