迈向通用人工智能的又一重要成果。除了深度强化学习，DeepMind 另一重要研究领域是记忆（memory），特别是如何将神经网络的决策智能和有关复杂结构化数据的存储、推理能力结合起来的难题。

2016年 10 月，DeepMind 在 Nature发表了一篇论文Hybrid computing using a neural network with dynamic external memory，该论文介绍了一种记忆增强式的神经网络（memory-augmented neural network）形式——被称为可微神经计算机（differentiable neural computer），研究表明其可以学习使用它的记忆来回答有关复杂的结构化数据的问题，其中包括人工生成的故事、家族树、甚至伦敦地铁的地图。研究还表明它还能使用强化学习解决块拼图游戏（block puzzle game）问题。

　　DNC 解决一个移动块问题

人工神经网络非常擅长感官信号处理、序列学习和强化学习，但由于缺乏外部记忆（external memory），它们在表征变量和数据结构以及长时间存储数据上的能力却很有限。这里我们介绍一种名叫可微神经计算机（DNC: differentiable neural computer）的机器学习模型，该模型由一个可以读写外部记忆矩阵（external memory matrix）的神经网络构成，atv，这类似于传统计算机中的随机存取存储器（RAM）。它既可以和传统计算机一样使用它的记忆（memory，注：对应于传统计算机的「内存」）表征和操作复杂的数据结构，也能和神经网络一样从数据中学习这么做的方法。当使用监督学习进行训练时，我们发现 DNC 可以成功回答设计用来模仿自然语言中的推理和推断问题的合成问题。我们表明 DNC 可以学习寻找特定点之间的最短路径和推断随机生成的图中所缺少的链接等任务，然后还能将这些任务泛化到交通网和家族树等特定的图上。当使用强化学习进行训练时，DNC 可以完成移动块拼图任务，其中变化的目标又符号的序列指定。总而言之，我们的结果表明 DNC 有能力解决对没有外部读写记忆的神经网络而言难以解决的复杂的结构化任务。

5、深度学习与其他机器学习技术的融合

Deep Sequential Networks 与 side-information 结合起来以获取更加丰富的语言模型。在 A Neural Knowledge Language Model 论文中，Bengio 的团队将知识图谱和 RNNs 结合起来。

交流知识是语言的一个主要目的。但是，目前的语言模型在编码或解码知识的能力上还存在显著的限制。这主要是因为它们是基于统计共现（statistical co-occurrences）获取知识的，但大部分描述知识的词基本上都不是被观察到的命名实体（named entities）。在这篇论文中，我们提出了一种神经知识语言模型（NKLM: Neural Knowledge Language Model ），该模型结合了知识图谱提供的符号知识（symbolic knowledge）与 RNN 语言模型。在每一个时间步骤，该模型都能够预测被观察到的词应该是基于哪种事实。然后，就会从词汇库生成或从知识图谱中复制出一个词。我们在一个名叫 WikiFacts 的新数据集上训练和测试了这个模型。我们的实验表明，NKLM 能在生成远远更小量的未知词的同时显著提升困惑度（perplexity）。此外，我们发现其中被取样的描述包含了曾在 RNN 语言模型中被用作未知词的命名实体。

在 Contextual LSTM models for Large scale NLP Tasks这篇研究中， Deepmind 提出了CLSTM （语境LSTM ，Contextual LSTM)，是当前 RNN LSTM 的延伸，将语境特征（比如 ，主题 topics )吸收进了模型。另外，语言模型的注意力和记忆建模方面也很多有趣研究，比如 Ask Me Anything: Dynamic Memory Networks for NLP（ICML）。

二、硬件

随着深度学习算法变得越来越复杂、所使用的数据集变得越来越大，对专用硬件的需求也正变得越来越大。2016 年，。这一年，除了英特尔和这两家芯片巨头在人工智能方向连绵不断的高调动作，掌握核心科技的创业公司也在尽力改变着市场格局（尽管其中大部分有潜力的都被收购了），此外，就连谷歌这样的互联网也从中看到了发展的空间。

　　可以预见，英伟达将在整个2017年继续占据主导地位，因为他们拥有最丰富的深度学习生态系统。

　　体量更大的巨头英特尔自然也不会等着这个新市场被竞争对手占领，而收购似乎是个更快捷的追赶方法。2016 年，英特尔收购了多家人工智能创业公司，其中和等。到 11 月份，有了 Nervana 和 2015 年收购的 FPGA 厂商 Altera 加持的英特尔公布了其人工智能路线图，介绍了该公司在人工智能芯片市场上的公司战略和产品生态系统。