本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

【j2开奖】微软人工智能首席科学家邓力:深度学习十年简史和人工智能未来展望(33PDF下载)(7)

时间:2016-10-25 02:19来源:118论坛 作者:j2开奖直播 点击:
至于通用人工智能,应该会长一点,在十年以外。常识只是一部分,而通用人工智能,就是要用同一个人工智能解决很多的问题,这就需要在常识之外,还

  至于通用人工智能,应该会长一点,在十年以外。常识只是一部分,而通用人工智能,就是要用同一个人工智能解决很多的问题,这就需要在常识之外,还有很多其他的人类认知能力。把这些认知能力都考虑到一起,我想用的时间……至少在十年以外吧。但解决的机会是会有的,有生之年我也应该能看到,我还是比较乐观的。

  新智元:深度学习是最终的答案吗?

  邓力:最终的答案应该有很多方法整合在一起,深度学习是其中主要的一个。不过,深度学习本身范围也很广。什么是深度学习呢?有些人说深度学习就是神经网络,我认为这不全面。深度学习的基本概念,一是多层次的,多层次不一定要神经网络方法才能实现,可以用统计方法,也可以使用贝叶斯的方法。深度学习的另一个特点是端到端的学习,也不必局限于backprop。总之,深度学习不一定限定在神经网络,还要把常识——随便举个例子——结合进来,我是这样认为的。

  去年,我们团队在 NIPS 发表了一篇论文探讨了这样的问题。你知道,现在使用神经网络,大部分都很难解释;我们的团队就采用概率模型的方法,把比较浅层的概率推理方法加层,每一步的方法从果推到因,把每个步骤都当做一个迭代的过程,每个计算的步骤作为神经网络的一个层次,然后把这个过程一层层循环上去,最后就形成了一个神经网络,再来做反向传播。学习完了以后,由于这个网络也很深层,预测的结果就很准,但同时我们没有把原来贝叶斯基本的架构破坏掉,所以用原先的模型就可以解释最终的结果,这就是把神经网络和其他方法结合起来的一个例子。

  新智元:怎么看开源?

  邓力:开源是一个好事。开源的结果是把整个业界的水平提高,给大家很多很多的选择。我很高兴见到很多公司开源,我认为开源的力度越大越好。举一个例子,以前实习生来了,有一个很长适应的时期,才能把公司内部的应用软件搞懂。开源以后,他们在入职之前就已经对相关的技术和产品比较熟悉了,来了之后马上就可以上手。微软已经开源了CNTK,今后也应该会开源更多。

  新智元:微软研究院在深度学习上的特点是什么?

  邓力:微软的优势是深度学习开始比较早,储备的人才和经验很多。不过前几年管理相对松散,做深度学习的人分散在很多不同的地方,但彼此之间都有合作。在深度学习和人工智能方面,我们会投资更多。

  新智元:跟 Hinton 合作有什么印象比较深的地方吗?

  邓力:当时我们一起做语音识别,神经网络和贝叶斯算法做了很多比较。发现贝叶斯算法不如神经网络那么有效,主要是因为神经网络能够利用大型并标准的矩阵计算。当时我们试了各种各样的方法,在2009年到2012年期间,Hinton 给了我很多实际的建议,比如早在2009年他就一直跟我说,“你一定要用好的GPU”,用什么样的GPU我还是听他的,这个对我们影响很大。

  新智元:神经网络、层次化模型等思路在语音识别发展的历史上早已被提出并无数次验证,但都没有成功。回顾深度学习成功前的十年,那时能够持续不断地在“非主流”的方向上尝试、改进、探索,是一件非常不易的事情,您是如何坚持过来的?

  邓力:我在上世纪90年代也做神经网络,但没有成功——不过那时候大家都没有成功(笑)。然后改做贝叶斯网络模型和方法,在为语音生成(编注:语音生成指的是统计方法生成,不同于语音合成)建模的深度贝叶斯网络做了很长时间。同样,当时深度贝叶斯网络学习的方法不成熟, 但现在两三年内有了很多进展。这些新进展把统计、数学、概率和神经网络的方法联系在一起。将来要解决更像人脑的问题,单单依靠数据就不够了。现在大家开始注重非监督深度学习,过去积累的研究经验和有计算价值的语音生成知识和模型也可以派上用场。

  新智元:您去年都还在发论文,一直都工作在第一线。如何保持这样长时间的高水平高产出?

  邓力:这是责任,也是个人的兴趣。公司给了我很多资源,现在团队有了这么多人,人多了自然就好做事了。

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容