机器之心翻译出品

　　参与：张诗玥、柒柒

　　Writing Sessions是知识共享网站Quora推出的一个与专家交流互动的新板块，在这里你可以看到各个行业领域的专家、学者、名人等对引人注目的问题的独特见解。最近推出的系列围绕如今最热门的技术之一——机器学习所展开，之前机器之心推出了系列，系列，本次机器之心精选谷歌研究员、《Machine Learning: A Probabilistic Perspective》作者Kevin Murphy在Quora上的回答，让我们一起看看这位机器学习研究员对机器学习等有何见解吧！机器之心后续还会陆续推出其他专家系列，敬请期待！

　　问题一：深度学习的极限在哪里？

　　如果你说的「深度学习」指的是「函数的嵌套组合」，那么它确实没有太多极限可言，因为所有的计算都可以被包含在这个概念里。然而在我看来，主要的问题在于目前的深度学习方法仍需要过多的时间和数据——这和人类能够通过小得多的数据样本学习，并且学得更加快速的能力相矛盾（比如，《纽约时报》语料库中的词汇量比一个三岁小孩听过的所有词汇多出100多倍）。

　　关键的问题是：学习的最佳表示形式，即归纳偏置（inductive bias）（译者注：当学习器去预测其未遇到过的输入的结果时，会做一些假设（Mitchell, 1980）。而学习算法中的归纳偏置则是这些假设的集合。——维基百科）是什么？当然，这因不同的学习任务而异。人类似乎综合采用了多种知识表示。具体的例子见Liz Spelke关于儿童「核心知识」的工作（以及Josh Tenenbaum及其同事的工作）。当然，这种高层次的知识由神经放电的模式予以表征。但是从统计的角度（或者计算的角度）来讲，通过操控更加结构化的表征（比如，对象和代理，以及它们的属性和关系）比起在一个超高维的连续参数空间中进行小步长计算更利于高效学习，虽然目前看来，后者似乎正大放异彩。

　　问题二：除了Matlab和R语言这样的主流语言，今后在学术和工业界还有哪些最有用的语言？

　　Python是目前最受欢迎的语言，虽然在科学计算领域，Julia似乎也越发受到青睐。个人来讲，我喜欢具备静态类型检查和类型推理功能的语言，比如Standard ML 和 Scala，但它们并未进入机器学习社区的主流（虽然微软研究院显然大量使用了F#语言）。在谷歌，我们主要使用C++ 和Python，也有一些同事用Jave和R语言。同时，DeepMind团队和其他一些人工智能实验室使用的是Lua语言（因为这是使用Torch最简单的方法）。

　　问题三：你写作《Machine Learning: A Probabilistic Perspective》的动机是什么？

　　大约在2006年我开始了这本书的写作，当时我是英属哥伦比亚大学的教授，给本科生和研究生讲授机器学习。我发现当时已经出版的作品（如Chris Bishop的书，以及Hastie，Tibshirani 与 Friedman合著的书）都在某方面尚有缺陷（比如Bishop的书中甚至没有提到L1范数规则化，而Hastie的书没有包括图论模型）。于是我决定自己写一本，但我没想到这本书花了整整六年才得以出版。

　　问题四：你怎样看待openAI？

　　一方面，OpenAI的员工都是深度学习领域一批最优秀的初级研究人员；另一方面，我认为它成立的初衷——即Elon Musk等人担心人工智能会掌控世界——有些不靠谱。我同意吴恩达的说法，即「担心人工智能超越人类就像是担心火星上人口过剩一样」。我的主要担忧在于，担忧这些遥不可及的灾难让人们从眼前的紧迫问题上分散注意力，比如气候变化，失业问题（部分由人工智能造成），（经济和种族的）不平等，等等。

　　问题五：机器学习中，尚未解决的问题里最重要的是哪个？

　　非监督式学习。具体来讲，非监督学习应该采用怎样的目标函数？选取原则该是可以最大拟合已观测到的数据，还是最大拟合未来会观测到的数据？好像都不对。比如，假设我们要预测一段视频接下来N帧的每一个像素，我们会关心图像的精确亮度值吗？不，我们关心的是对下一步的预测（汽车会向左还是向右转向？如果我扔下这个杯子，它会摔碎吗？）。不知何故，人和动物似乎是在这一更抽象的层面学习预测的，这与对象和关系相关，不需要接收任何标签数据。多任务强化学习对此有所帮助，但是单单从梯度奖励（scalar reward）进行学习似乎太局限。学习预测某人的行为结果似乎有所帮助（这同样可以用于基于目标的规划）。

　　问题六：为什么人工智能赢得围棋是意义重大的里程碑？