Nick Pentreath 是 IBM Spark 技术中心的首席工程师，他专注于 Apache Spark 机器学习领域，著有一本《Spark 机器学习》。在进入 IBM 以前，他曾参与共同创立了 Graphflow，一家提供推荐系统和智能解决方案的初创公司。在进入计算机科学领域以前，他曾在高盛投行工作，亲历了利比亚卡扎菲政府 12 亿美元投资巨案。

最近，随着 2016 机器学习行业应用国际峰会的举办，Pentreath 来到了北京。机器之心受邀对他进行了独家专访，我们一起聊了聊 Spark 的新版本、IBM 的开源精神、不同平台的竞争关系，以及他在高盛的传奇经历，其中不乏爆料和精彩的观点分享。让我们看看 Pentreath 是怎么说的。

机器之心：作为 IBM Spark 的首席工程师，你最近的工作是哪些内容？

Pentreath：我最近的工作都在 Spark 的两个新版本上。Spark2.0 刚刚推出，2.1 版又将紧随其后。目前的 Spark2.0 是 Spark 自推出以来第二次重大更新，我们进行了诸多性能上的提升，改进了 API。

对于应用而言，将数据集装进框架中是很重要的流程，这也是 Spark API 的主要工作，和机器学习库功能相近。在 Spark 中，旧有的基于 RDD 的 API 形成了我们整个框架的基础。我们将在此之上开发所有的功能。我们现在的工作是提供新的 API 管道，服务于机器学习工作流。Spark 2.0 的主题是新的数据框架 API，让它的风格向基于 RDD 的 API 转变，为 Scala 建立平台，尝试加入 Python API，改善 R 语言的支持。所以，主要是向更多编程语言提供支持，进行稳定和性能的改善等工作。

所以我在 Spark2.0 上我做了很多工作，开奖，包括版本质量和说明文档的改善，我希望能让这一版本在发布时能够高效稳定。而最近由于需要发布 2.1 版本，我做了很多事，参加了很多会议，当然也少不了和 IBM 同事们的讨论，我希望尽全力把这个版本做得更好。这个版本的大部分改进仍在性能的提升上，不过也包含新的模型，如 Multi-Possible 描述等。

机器之心：你对机器学习的认识是怎样的？

Pentreath：对我自己来说，我接触机器学习已经有六七年了，虽然我的背景是金融，但现在转行进入了这个领域。我希望自己能够做一些技术上的工作。机器学习可以解决现实世界的问题，这让我非常感兴趣，我曾经废寝忘食地学习机器学习理论，解决现实问题的方法。机器学习目前可以应用在很多方面，如广告投放，社交网络，图像识别等等，主要是在这些之后的个性化推荐系统。

这些系统会在不同地方被应用到。在来到 IBM 之前我曾经创立过一个公司（GraphFlow），这家公司在 2013 年建立，提供推荐系统和各种 API。我们曾有 5 个 API 和分析视频的推荐系统，通过这些，我们可以向用户推送他们喜欢的电影。

在 GraphFlow 我们就用到了 Spark，当时还是 Spark 的早期版本，0.5 版。我们的工作都是基于 Spark 的，我们发现 Spark 可以方便地用于处理大数据工作。在三年以后，很遗憾我的公司无法实现盈利，没有足够的现金流，我只能关掉它。现在我在 IBM 的工作是一个全新的体验，新版本的 Spark 仍然是开源的，我很高兴能加入进来。

机器之心：所以，你从一名使用者变成了开发者，这是个有趣的转变。除此之外，还有什么原因让你选择 IBM 而不是其他大公司呢？

Pentreath：的确有很多其他的公司正在机器学习和大数据上努力耕耘。但我觉得 IBM 是独一无二的，我觉得我来到这里主要是因为我之前的工作，在那时我对 IBM 产生了好奇，为什么他们的服务是这样的？他们是如何做到的？他们有什么资源？后来有人告诉我 IBM 正在发起一个专门的团队做 Spark——Spark Technology Center。这个部门会完全为开源服务，推进这一事业的价值，促进开源社区的发展。我对此很感兴趣，因为我也希望献身于开源事业，作为一个贡献者，这就是为什么我选择了 IBM Spark。而且 IBM 也是我的梦想。

机器之心：你刚刚加入 IBM Spark 的时候，这个部门处在什么样的状态？

Pentreath：我来到 IBM 还不到一年，我是在 6 月份加入的，那时正值 IBM 对 Apache 加大投入，Spark 的目标是开发属于未来的数据分析系统。在这几个月里我觉得 IBM 正在逐步实现这一目标，很多事情已经做到了。这就是 IBM 成立这个部门，招募很多员工的意义——纯粹地服务于 Apache Spark 开源工具和整个生态系统。