下面用一张图解释最近的想法和工作,怎么样能够把基于符号的逻辑推理(上世纪70年代的人工智能主流方法)跟现在兴起的深度学习、自动学习能力非常强的深度神经网络结合到一起。这是一个小例子。现在这里有两个结构,下面一个是输入句子的句法树状结构。上面的树状结构是语义结构。用人工智能的传统方法来做,要写很多 rules,但是用神经网络方法来做就可以学习结构变换。用于统一两者的一个方法是建立一个等价关系(isomorphism)。树状图状结构都可以经过巧妙的编码进入到神经网络,学习完了之后反向回到新的树状图状结构,能够把衍生出的经过推理后的树状结构(或者图状结构)无失真地(基于巧妙的编码)解码还原出来。这个过程中的符号式的推理逻辑就可以自动等价与在神经网络上的实现。因为神经网络善长学习,逻辑推理的规则就有望能够通过等价关系自动学成。
【此图片已更改】 谢谢大家,我就讲到这里。 回复“1026”下载 PPT 全文(PDF格式) 在 9 月召开的中国人工智能大会(CCAI 2016)上,邓力博士接受新智元专访,谈了他对深度学习最新突破及近来开源趋势等问题的见解。邓力同意 Hinton 等学者的看法,认为十年內机器能够拥有常识,对研发通用人工智能(AGI)也表示乐观,相信在他的“有生之年”应该能够看见 AGI 实现。 当时,邓力博士特别提到了他对 AI WORLD 2016 世界人工智能大会的期望:更深入了解人工智能在全球尤其是在中国的发展,同时分享他对人工智能和深度学习更多的思考。 新智元专访:深度增强学习是了不起的进展,深度学习需要借鉴脑科学的知识 新智元:过去一年深度学习最大的突破是什么? 邓力:深度增强学习是一个很了不起的进展。AlphaGo 影响很大,也让很多做深度学习的研究者意识到,深度学习应用不但可以在有大量直接标注的数据上成功(比如语音识别、图像识别),还可以在其他更多的方面成功。这个成功不像以前那样一定要把每项训练数据都做一一标记,因为增强学习大部分数据都不是直接标注,而是要等到最后结果得出来,再指导前面的机器学习过程。深度学习和增强学习的概念以前都有,但谷歌 DeepMind 将深度学习和增强学习结合在一起,提出了深度增强学习,并且给出了应用场景,做了很多好的工程工作,向大家展示了它能够解决以前深度学习解决不了的问题。就在前几周,新闻报道谷歌 DeepMind 采用深度增强学习的方法,让数据中心的能量消耗减少了 40%,这个影响是非常大的。省电不但有经济效益,对环境的好处也是巨大的。以前一般人想不到可以将增强学习用在这个上面,我看了这项应用的报道后深受启发。 新智元:。 邓力:对抗生成网络是很好的方法,它有助于无监督学习,如何把数据输入输出的关系弄清楚。 新智元:您最近主要在做无监督学习? 邓力:思考了这方面的很多问题。一是无监督学习不需要使用标注数据,二来也是更重要的一点,从思想模型上讲,无监督学习更像人脑的学习。当然,直接的效应还是标注量——大 5 倍、10 倍可以,但大 100 倍、1000 倍、1 万倍呢?现在不少人在做深度无监督学习,我也在这方面提出一些高层的解决方案。例如看图说话,给定一幅图像,让机器用自然语言句子描述内容。微软前年还专门标注了好几十万个这样的数据给大家,整个深度学习领域的研究员都能应用,影响很大。但不可能标几千万甚至几亿的这种图像,尽管大家都知道,这会进一步提高看图说话的效果。其实我和团队之所以要研究无监督学习,更重要的一点是,我们目前的深度学习方法离真正的人脑学习差得太远了。深度学习需要借鉴脑科学的知识,虽然一两年内暂时还用不上,但我相信不远的将来,三到五年之内,大家都肯定会往这方面思考。我们现在也在往这方面想。我昨天讲的深度学习,有一部分也是受脑科学的影响。只是我们更重视计算——脑科学计算不了也没实用价值。但是,人工智能和脑科学将来都会慢慢结合。 新智元:Hinton 在之前接受采访时表示,他认为十年内机器能够拥有常识,您怎么看? (责任编辑:本港台直播) |