|
整理：闻菲 【新智元导读】微软人工智能首席科学家邓力18日在首届发表主旨演讲《深度学习十年简史和人工智能未来展望》。邓力博士回顾了他与 Hinton 的合作及其产业影响，重点讲述语音识别如何随深度学习发展进入商用阶段，还介绍了微软近两年的人工智能进展，并对深度学习技术、应用和产业进行展望。演讲最后，邓力分享了他最新的思想和工作——将符号式逻辑推理和数值张量式神经网络结合到一起，有望解决深度学习黑箱问题、常识嵌入与充实问题，以及逻辑推理规则的自动学习问题。【回复“1024”下载PPT全文（PDF格式）；点击阅读原文观看大会主论坛视频回顾】 AI WORLD 2016 世界人工智能大会开场视频（完整版）
邓力：感谢大家！ 贵宾们好，朋友们好。 我今天首先要感谢组委会给我这个机会，在这里向大家介绍微软的一些深度学习和人工智能的研究，也感谢组委会专门给我这个题目，叫我讲一下十年深度学习的历史。正像你们刚才听到 Yoshua Bengio 教授讲的一样，微软在深度学习的开始阶段就做了很大的投入。今天我会向大家介绍这之后我们很多的进展，最后分享对未来的展望。
深度学习十年简史：深度信念网络（DBN）开启 DL 时代 组委会告诉我，今天的观众有相当多是从业界来的投资人士以及技术人士。所以我向大家推荐，讲了深度学习一部分的历史。趁此机会也向大家介绍这篇杂志文章里面给的深度学习的定义。从技术的角度、从科学的角度，我想再补充一些材料，使得大家对深度学习跟人工智能有一些更深入的了解。
这些是《财富》杂志所讲的定义，这个定义基本是准确的。比如说人工智能，它含有一大串的技术，包括逻辑推理技术，包括机器学习技术，在机器学习的技术里又包括深度学习的技术。其中，主要的一块是机器学习。机器学习所解决的问题，是要用数据跟统计的方法或者神经网络的方法来解决现实生活中的任务（tasks）。在机器学习里面最新型和最重要的一块——深度学习，也包括一大串的技术加上应用。虽然在这篇文章里面只提到了语音应用和图像应用，实际上还有自然语言处理等其他一大串的应用。在这个演讲里面，我会着重把这些新的应用和新的技术向大家介绍一下。
刚才讲的深度学习还是从商业的方面来讲，大家能够看得懂。要是看Wikipedia，它讲的深度学习的定义比刚才的文章更深入一点。我现在向大家介绍一下 Wikipedia 的定义，深度学习有三个要点 （来源于我2014年写的一本书，今年五月份翻译成中文）。第一，这是一般的定义 --- 多层次的非线性变换，不单单是神经网络，它包括各种各样的其他方法，深度学习的精髓是好几个不同层次的非线性变换。第二， 因为有好多层次，就衍生出来了一个非常重要的问题——怎么样来优化这个多层次的系统。在浅层学习的模型里面，这个优化问题不是那么严重，因为比较容易优化。但是一旦有深层之后，这个优化就成为一个非常难的问题。这也是在上世纪80年代、90年代深度神经网络并没有能够产生影响的其中一个很大的原因。当时数据不够，计算能力也不够，而且当时算法也不够。差不多十年之前，端到端的优化学习问题开始得到了解决——并不是说理论上得到解决，我只是说在实际算法上得到了解决。第三，这点更重要，尤其在语音识别和图像识别之外的、更重要的认知领域的应用。在这种更高层次的认知领域的应用情况下，因为深度学习有不同层次的表达，它就能够把抽象的概念进行层次化的表征。在我下面讲的应用中，我想特别是把第三个要点向大家描述得更深刻一点。头两个特性一般是大家在目前深度学习上看得比较清楚的，而且文献讲得比较多。第三点的抽象性确实是深度学习最重要的精华。
|
