AI复始，万象更新 ！

新智元祝广大订户鸡年大吉！

　　新智元启动新一轮大招聘：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

　　简历投递：j[email protected]

　　HR 微信：13552313024

　　新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。

　　加盟新智元，与人工智能业界领袖携手改变世界。

　　【新智元导读】深度学习大牛 Yoshua Bengio 日前在 Beneficial AI 大会上发表题为《创造人类水平AI》的演讲，总结深度学习技术发展及问题。演讲的其中几处要点包括，Bengiio 认为①极深网络（Very Deep NN）能更好地处理序列数据且有望处理高层抽象，相关研究有巨大应用前景；②随着加速神经网络的专门硬件越来越多，接下来几年我们会得到更多计算力；③GAN 虽然是前沿热点，j2直播，但非常难训练，学习和提取抽象也十分困难；④若不能更好地发现和表示高层抽象，我们将在自然语言理解方面止步不前。Bengio 最后还介绍了他的一个研究方向，如何发现潜在的因果关系，方法是用行动（action）引导表征学习（representation learning）。

　　2017 年 1 月，Bengio 在 Future of Life 举办的 Beneficial AI 大会上发表演讲《创造人类水平的AI》。19:20 开始是问答环节。

　　以下是新智元对 Bengio 演讲及PPT的整理。

　　我将在演讲中介绍深度学习的最新进展，以及其与 AI 的关系。我不会告诉你什么时候“魔术”会发生，做这种预测是不理智的。

　　最近深度学习有很多进展，包括语音识别和计算机视觉，在这两方面都有基准出现，在这些基准上计算机已经训练得表现跟人类一样好——当然，计算机仍然在很多方面都比人差。最近有大进展的另外一个领域是机器翻译，虽然目前为止尚未转变成大规模产业应用。此外，推理、注意力和记忆也很有趣，未来值得关注——以前我们做的更多是模式识别，现在开始进入前几十年经典 AI 研究一直试图攻克的问题，也就是刚才说的推理、注意力和记忆机制。当然，我们在强化学习方面也有很大进展，比如下围棋、玩游戏等等。大家比较少了解的是机器人与控制方面的进步，我认为我们还刚刚处于这方面的开始。最后，有着巨大应用前景的就是极深网络（Very Deep Neural Networks），极深网络能够更好地处理序列数据，并且有望处理抽象——这一点我会在演讲最后具体展开讨论。

　　我选择注意力机制作为在这里向大家介绍深度学习最新进展的一个例子。选择注意力机制的一个原因是我在这方面做了很多工作，包括将注意力机制运用在机器翻译上面。好几年来，研究界一直有这样一个想法，那就是将机器要翻译的句子转换为一种通用的映射，你可以将这种映射理解为这句话的“含义”，而我们要（机器）学会这种含义并将其转换为另外一种语言。问题是，要翻译的内容越变越长，我们就没有办法做这个事情，只能将其压缩为一定大小的矢量（vector）。假设我要翻译一本书，我会记录我已经翻译到哪里了、接下来要翻译什么，这就是注意力机制派上用场的地方。在要翻译的语言（source language）中，有一个 soft pointer，指向当前翻译的内容附近。可以看出，这都是受人类行为启发而来，其他的还有推理、记忆，以及用神经网络处理数据结构。

　　要看机器翻译进展到什么地步，我们可以看一下谷歌机器翻译。我们在几年前碰巧发现了 soft-attation，在几个语言对上做测试，那时候表现还很差。现在，j2直播，谷歌将机器翻译带到了“谷歌规模”，他们的训练数据之大，超过任何人一生可以见到的数据之和，他们的结果也大幅提升。我在这里不多赘述，总之，几年前我们期望发生在机器翻译上的突破已经实现了。