近日,亚马逊首席技术官 Werner Vogels 在一篇博客上宣布,;他还宣布 AWS 将会为 MXNet 和该公司所支持的生态系统的开发提供软件代码、文档和投资。这一消息对深度学习领域和 MXNet 社区来说都无疑是重大利好的。看起来知乎上的问题现在终于可以终止了,相信在亚马逊这样的巨头的支持下,MXNet 还将迎来更大的发展并被更多的实践者应用。 MXNet 的前世今生 MXNet 起源于三个不同的开源项目,分别是由在美国的陈天奇,在加拿大的许冰和在香港的王乃岩牵头的 cxxnet,上海张铮老师及其学生牵头的 Minerva,以及在新加坡的 Min Lin 牵头的 purine2 。 2014 年 NIPS 上,同为上海交大校友的陈天奇与李沐碰头,讨论到各个在做深度学习 Toolkits 的项目组,发现大家普遍在进行很多重复性的工作,例如文件 loading 等。于是他们决定组建 DMLC(Distributied (Deep) Machine Learning Community),号召大家一起合作开发 MXNet,分别发挥各自的特长,避免 reinvent the wheel。 据张铮老师回忆,早期 MXNet 的核心成员在十人左右,却曾同时分布在多达六个时区。其中张铮老师指导的 Minerva 团队主要负责后端引擎,陈天奇进行接口设计,李沐负责分布式。 在打造 MXNet 的过程中,团队成员在设计上进行了十分细致的思考和讨论。MXNet 使用 Mixture 设计,融合了其他一些主流框架的优点,例如其像 Tensor Flow 一样的 符号式编程(symbolic),和 Torch 一样的 命令式编程(imperative);为了方便开发者使用,MXNet 支持多种语言接口,同时在底层预步了对 Caffe 和 Torch 等运算模块的兼容等等;在内存使用方面,MXNet 大胆使用了不同于一般的系统内存优化的设计,并取得了很好的效果。
经过一年的努力,MXNet 现身 2015 年 NIPS 的机器学习系统 Workshop。点击「阅读原文」查看相关论文。 2016 年,越来越多的开源贡献者参与到了开发及维护 MXNet 的工作中,对 MXNet 进行了大量的扩展、优化和修复工作。其中包括后期加入 DMLC,并逐渐成为核心成员,负责 rtc 和 torch 的解浚源(Eric),扛下 RNN 部分的 Chiyuan 和张宇,负责 R 接口的 Qiang Kou,Scala 接口的 Yizhi Liu,以及施新建等。截止到 2016 年 11 月中旬,MXNet 项目拥有超过两百名贡献者。 亚马逊背书的开源深度学习框架 在昨天亚马逊的表态之后,机器之心第一时间联系了 MXNet 项目的主要贡献者之一解浚源(Eric),请他谈论了一些对于这一消息和 MXNet 发展情况的一些见解。
解浚源(Eric)是华盛顿大学正在就读计算机科学博士三年级的学生,正与 Ali Farhadi 和 Ross Girshick 共同进行研究工作。在此之前,解浚源于中国科技大学获得了计算机科学学士学位。研究兴趣是机器学习和计算机视觉,特别是发掘使用无标签或易于获得的「自然」标注的数据训练深度神经网络的新方法。解浚源目前是 MXNet 项目的主要贡献者之一,主要负责 rtc 和 torch 的部分。 以下是机器之心对解浚源的专访内容整理(部分回答引用自知乎): 1)亚马逊选择 MXNet 作为其最主要的深度学习框架,这对于你们双方而言意味着什么?这件事是从什么时候开始计划的? 该问题的答案引用自知乎:https://www.zhihu.com/question/52906838/answer/132582817 Eric:MXNet 发展到现在有一年多了,已经是一个相对成熟的项目。我对我们的技术很有信心。MXNet 的速度,节省内存,接口灵活性,和分布式效率都是可圈可点的。作为一个由爱好者发起,没有投资的项目,MXNet 以前最大的短板是文档和宣传。而 Amazon 作为大财主以后在这方面可以起到很好的作用。 实际上 Amazon 对 MXNet 的支持已经有一段时间了,在 Github 上提交了很多文档方面的改进。细心的同学可能已经发现最近网站变好看了,拼写错误也少了很多(MXNet Documents),花钱请的前端和文案就是不一样。总体来说 Amazon 对开源社区很友好,除了对文档和稳定性的要求严格了一些并没有干涉我们的开发。Code Review 还是我们自己在做,是否接收代码也是社区决定的。 (责任编辑:本港台直播) |