Yinyin Liu:Neon 是一个有面向数据科学家的用户入口和面向下层硬件接口的库,我们一直以来投入大量精力开发。新推出的 Nervana Graph 旨在为软件架构提供更连贯的支持。我们希望通过不断的改进,atv直播,最终 Neon 主要提供上层接口,Nervana Graph 主要完成和底层的各式硬件连接的工作。 机器之心:Neon 相比于其他的开源深度学习框架,比如 TensorFlow、Caffe 和 Torch,最大的特点是什么?它能在哪些方面更好帮助研究者? Yinyin Liu:我们的开发者接口比较高层,Neon 里有整个模型的实现,也有深度学习模型中的主要组成部分的 API。当你需要使用一个现有模型,比如 ResNet,就只需要把神经网络、相应的数据处理、优化器等组合在一起,工作量非常小。 我们的库是一个全栈的库,和各种可用于人工智能的硬件设备有很好的接口,将来 Nervana Graph 融入到 Neon 之后仍然如此。 由于在端到端的每一个层次上,我们都做了各种各样的优化(比如对存储分配做了全局规划),根据我们的经验,这使得同样模型在 Neon 上的运算比其他框架上的快很多。 在用户使用方面,它的软件层更贴近用户产品,稳定性和实时性都有保障。 机器之心:能举一个具体的 Neon 优化深度学习模型实现的例子吗? Yinyin Liu:我们把多层神经网络的一些常用运算进行了融合。比如在研发 Neon 的过程中,我们发现,由于卷积(convolution)和分批正则化(batch normalization)经常一起出现,且两个步骤都需要进行相加操作(summation)和求方差操作(variance)。如果把正则化的相加和求方差放在卷积中,就节省了一次提取数据和一次计算的时间,模型运算速度就会大大提升。这也影响了数据究竟放在寄存器(register)中还是存储(memory)中的决策。因此我们在设计 Lake Crest 的时候也考虑了这一点,以确保它是最适合深度学习的芯片。 机器之心:AIPG 和英特尔的其他事业部有哪些交流合作呢? Yinyin Liu:从 AIPG 的角度,我们希望有足够的远瞻性,关注深度学习在长期会如何发展。未来十年中,有哪些研究成果会对硬件架构和软件生态系统产生新需求、我们如何能将有影响力的算法和模型化为设计新一代硬件的指南,这都是我们的关注重点。因此,直播,我们和 Intel Labs 有很紧密的合作。Intel Labs 有很多关于人工智能的高质量发表和想法,这都给 AIPG 提供了灵感与支持。比如说,通常人们认为人工智能适用的领域局限于图像处理、声音处理和语言处理,但是在很多前沿的研究中,研究者们会关注如何整合不同形态的数据,如通过学习图片来学习语言,通过学习声音来学习图片。AIPG 有专门的内部研究团队,把 Intel labs 所做的长期的研究项目和业界各种前沿研究合理地变为短期研究项目,再合理地整合到产品设计当中去。 以深度学习为起点,探索更多分支学科 机器之心:您对深度学习初学者有哪些建议呢?对数据科学初学者呢? Yinyin Liu:很多人问我如何进入 AI 领域,我经常回答:你可以去 github 上下载 Neon。因为 Neon 的架构中提供了很多目前最好的模型。如果你把所有模型都顺一遍,会对深度学习有一个比较全面的了解。在研究现有模型的过程中,你可能会注意到计算机视觉和自然语言分析领域用到的深度学习要素会有很多交集,通过学习一个开源库的分布,你会对这种学科交叉有更好的体会。 对于想做数据科学家的初学者,在掌握了深度学习基本的软件架构之后,可以去参加一些比赛来增加工程经验,英特尔也主办了很多的此类比赛,比如在国内开放了天池这个医疗数据库做了早期肺癌诊断的比赛。 机器之心:从您的简历来看您有非常广泛的研究兴趣,从计算机视觉到自然语言处理都有涉猎,请问您如何平衡研究的广度和深度呢? (责任编辑:本港台直播) |