如果我两年前这么说,吴恩达肯定会站出来反对。但现在,吴恩达也是第一批意识到深度学习不需要那么高精确度计算的人。英特尔与百度合作,在百度大脑开始了实验室,专门研究低精度运算。现在,我们研究用于激活的 1 位低精度计算。从 32 位到 16 位、8 位……2 位、1 位,这样从高精度到低精度的发展是必然的趋势吗?还是说到了 1 位,就是与 32 位在原理上完全不同的计算了?这是都开放的问题,我们正在研究。 新智元:你们与百度合作,atv,百度有意向研发自己的芯片吗? Amir:百度有很强的硬件团队,也在开发自己的 FPGA 产品。但这个问题你得问陆奇(笑)。 深度学习模型在某种程度上可能朝着暴力计算发展 新智元:CPU 的未来会怎么样? Amir:Nervana 在初创公司时曾经跟 CPU 抗争,很难,现在我们发现这更难了。现在的深度学习模型在某种程度上可能朝着暴力计算发展,需要输入大量的数据才能分辨事物。未来的深度学习模型可能更小、模型利用率更高,这样就不需要几十亿的 TPFLOTS——实际上,深度学习,要成功,要超越竞争者,不仅仅看 TPFLOTS。 另外,有一个很好的例子 AlphaGo,AlphaGo 展现了一种非常有趣的架构,一方面有不同的卷积神经网络,一方面是蒙特卡洛搜索树。两者有机地结合——你很难将两者区分开来。而开发一种架构做这些不同的事情是很难的,因此 CPU 可能是为这种综合架构做计算最好的选择。所以,将来你要做深度学习 + 演化搜索 + 蒙特卡洛树搜索 + ……,CPU 足够灵活。我认为,在未来 CPU 将永远重要(relevant)。 当然,就像我刚才说的那样,要成功不仅仅是靠处理器,还有生态系统和商业模式要考虑,以及真正做出能用、能卖得出去的东西。 硬件团队最该过硬的是软件部门 新智元:去年新智元采访了 Nervana CEO,也是现在英特尔公司副总裁兼英特尔人工智能产品事业部总经理 Naveen Rao,他说英特尔的一大强项是有非常完备的产品组合,能够针对不同的需求提供不同的产品。但正如你所说,技术和市场在快速发展,尤其是人工智能和深度学习。英特尔如何确保自己随时都能满足客户新的需求? Amir:技术周期是比较长的,这期间芯片的架构确实可能过时,或者有竞争对手出现。但是,在Nervana 也好,在英特尔也一样,我们发现做机器学习是非常难的一件事情——并不是难在你做出一款能解决一切的超级芯片,而是难在周围的事情。谷歌在 2015 年发表了一篇很有意思的论文,叫《构建机器学习系统的技术难点》(注释:实际上论文题为“Hidden Technical Debt In Building A Machine Learning System”,谷歌团队在 2015 年 NIPS 发表)。 论文里面有张图,芯片是中间黑色的小小一块,周围是其他各种工程上的问题,比如安全、延迟……只有集齐了这些才能做出一个好的解决方案。要做好深度学习不仅仅是靠处理器。 当然,话说回来,在英特尔,我们有实验室,在很多很酷很激动人心的项目,我们也有把其中一些做成产品——那就是 AIPG (英特尔的人工智能产品集团)上场的地方——我希望这些将来都能有所应用。在你看见的产品之外,英特尔在研发方面有很大的投资。另一方面,现在你看到的已经做出来的产品,它们之所以存在,不仅仅是由于技术好用,也是因为它们足够稳定可靠。 新智元:确实,除了芯片或者说硬件以外,更多是构建生态系统的过程。在愈发讲究“软硬结合”的现在,英特尔 AI 产品在软件方面有什么布局呢? Amir:在业内有句话叫,“硬件团队最该过硬的是软件部门”(The hardest part of your hardware team is your software team)。软件团队总是比硬件团队要大得多得多。开发在硬件处理器上跑的软件是一项浩大的工程,在英特尔 AIPG 是这样,Xeon 和 Xeon Phi 团队也是如此。 (责任编辑:本港台直播) |