董方亮:其实这是硬件和软件双方面的工作,比如说现在大家线下训练了以后呢,如果进行 GPU 线下训练以后,其实针对现有训练好的模型,英伟达是提供了优化的工具大家可以去用,最早推出的时候叫GIE,现在叫 TensorRT,它的原理就是把训练的模型再进行简化来提高效率,针对现在主流的 Inference 都做支持,这是软件方面的优化。 硬件方面我们一直在做这方面的工作,它会提升计算能力,我们会做一些优化和计算能力的提升,在 Inference 端有一个很好的计算的平台。另外有一个问题,就是现在有些人说训练好了以后,这个模型好像去做 Inference 会不会比较慢,这里面就牵扯到,可能使用的网络架构层次比较深,它没有去做一定层次的优化,比如说像我们知道的中国的百度这样的公司,他们其实在深度学习上,有非常优秀的工程师,他们对识别的准确度在一定情况下进行了精简,这是企业科技实力和技术实力的很好体现。 雷鸣:现在各种开源、论文也比较多,有遇到这种需求的,其实也有一些论文会讲到一些所谓的怎么把深度学习模型做简化的一些方法,确实这一块还是有挑战,我就在想,这些在未来有没有一种方法自动的把模型压缩一下,压到最小,保证损失也比较小,这个就会感觉特别舒服。 还有一个问题就是关于运算的文化,包括 CPU 和 GPU,就是说做一定量运算的话,其实单位运算能耗还是非常高的,尤其是跟人的大脑比起来,单位运算能耗很高,从能耗的角度来考虑的话,NVIDIA 对单位能耗的运算有什么规划? 第二个问题就是,有没有考虑 NVIDIA 向端移动的过程,比如说做一个卡在手机里面,会不会有 NVIDIA 的深度学习卡,这种一个是能耗的下降问题,第二个就是说下降的速度肯定是有限的,有没有考虑做专用低功耗深度学习相关的 GPU 的设备,放在端里面使得它的功耗比较低一些,因为移动设备肯定装不了一个显卡,肯定就挂了。 董方亮:这个问题问的也很好,从英伟达产品的角度来讲,其实移动端也是我们公司重要的市场,比如说智能摄象头,我们有前端处理器,它不是纯 GPU,它是 SOC,这个 SOC 它的功耗会很小,比如说现在可以讲,我们现在的合作伙伴,比如说海康智能摄像头,里面有用到我们的解决方案,我们的解决方案效能会提高很多,这都是前端很好的应用的例子。 回答刚才一位同学问的问题,他说他的机器人能不能用一个功耗比较小的 GPU 或者 SOC ,所以我在这里再回答一遍那个同学的问题,如果把机器人当做一个智能体的话,主要是看这个智能体就三个,一个智能体在环境中怎么交互的,状态怎么样,动作怎么样,这个取决于你对智能体的定义,让它完成什么样的功能。如果你需要它完成比较酷的功能,比如说,我只是简单举个例子,我相信如果你要一个行动很慢的机器人,这样子的机器人可能用不到很强的计算能力。但假如说北大的某位同学很酷,他开发了一个机器人保镖天天跟着他,有什么事情跑在他前面,眼观六路耳听八方,这样的机器人需要很强的运算能力,否则用一个很小的计算处理器,他完全没有办法满足这样的需求,所以可以考虑一下,比如说比较特殊用途的。 雷鸣:这是本学期的公开课最后一节课了,我们下一节课是咱们作业的汇报,下次课就不再做公开了,作为最后一节课最后讲几句。 第一,非常感谢各位同学以及网上很多的朋友一直在关注这个课。我们希望这个课通过十三讲的内容能给大家带来一个比较完整的 AI+ 产业的体验,当然因为时间的原因,有一些产业还没有涉及,比如说我们说像机器人的产业,智能制造等等,稍微少一点,这些我们未来一年在设计课程的时候会考虑去重新做一些调整。以后的话,虽然课程结束了,我们还会有一些所谓的开放式的系列讲座,在网上我们还会继续的直播,也会找一些产业加上技术的顶级专家跟我们一起分享行业最新的进展,以及怎么用 AI 技术改变一个行业,这些我们都会持续的做,也希望对 AI 和产业结合感兴趣的同学、朋友或者行业人士可以持续的一起关注,然后共同去把 AI 对整个产业和社会影响这件事情能够做的越来越好。作为整个课程的组织者和主讲老师,我非常感谢大家的参与,最后我们再次以热烈的掌声感谢本次的演讲嘉宾董方亮老师! 董方亮:谢谢! 视频链接: 课程介绍 (责任编辑:本港台直播) |