虽然在人类的推理和计算机程序运行之间存在明显的相似之处，但是，我们在理解如何把它们中的任何一个部署于生物或者人工神经网络时，依然缺乏足够知识。关于逻辑推理的一个经典例子是三段论，比如，所有人都是凡人，苏格拉底是人，所以苏格拉底是凡人。不管是古代还是现代的观点中，推理都等同于一种基于规则的、对符号的思维处理，在上面的例子中，“所有”、“人”等都是符号。

　　但是，直播，人类的大脑是由许许多多的神经元构成的，这些神经元的运转通过敏感的电子脉冲的交换来完成，而不依赖像词语这样的符号。

　　这种不同导致了著名的科学和哲学之谜，有时候被称为神经符号的（neural-symbolic）集成难题，这一问题至今无解。在发表于 Nature 的这篇论文中，Graves 等人使用机器学习中的深度学习方法，在一个人工神经元系统中，得到了一些关键的符号推理机制。他们的系统能通过从样本中学习符号推理规则解决复杂问题。这一成就被认为有潜力解决神经符号的集成难题。

　　推理的一个关键前提是记忆。在计算机中，记忆的角色由随机访问内存（RAM）承担。当计算机进行推理，也就是运行程序时，所有的信息都被捆绑在工作的内存中，其结合的方式有许许多多种。把人类的推理过程拿来与计算机程序相比，其实并不牵强。事实上，在现代可编程计算机（图灵机）和亚里士多德的三段论存在严肃的历史联系。阿兰·图灵在他的突破性研究中自称使用了“心理”语言：任何时候，计算机的行为都取决于它观察到的符号以及它在当时的“心理状态”。

　　DNC 包含了若干个模块，所有的这些模块都完全不是符号化的，彼此之间通过纯粹的模拟激活模型来交换信息流（streams），正如从生物大脑中记录的那样。

　　系统有两个主要的模块：一个“内存”，由一连串存储单元压缩后组成，每一个存储单元都包含特有的数值，对应一种电压。另一模块是“控制器”，也就是人工神经元网络。控制器可以进入内存中的特定位置，读取其中的信息，再结合输入的数据，写下数值返回给特定的内存位置。这两个模块通过多种方式相互作用，就好像数字计算机中 RAM 与中央处理器单元的运作方式一样。

　　数字计算机通过执行一个事先写好的程序，完成特定的任务。相反的是，神经系统不能也不需要预先编程，它通过训练来完成。在训练的过程中，系统得到大量的关于这一任务的解决案例，然后系统会小幅度地调整其内部的神经连接，让整个神经网络的反应逐渐接近正确的任务解决方案。

　　Jaeger 认为，眼下单凭 DNC 无法在逻辑数据挖掘中与最先进的数字计算方法匹敌。但是，一种灵活的、根据 DNC 拓展出来的工作记忆，或许会让深度学习应用拓展到与需要理性推理的大数据领域，比如生成视频评论，或者进行文本语义分析。

　　“DNC 的前身神经图灵机，显然就极大地刺激了整个深度学习研究界。”

　　论文：利用神经网络与外部动态存储器进行混合计算

　　作者：Alex Graves, Greg Wayne, Malcolm Reynolds, Tim Harley, Ivo Danihelka, Agnieszka Grabska-Barwińska, Sergio Gómez Colmenarejo, Edward Grefenstette, Tiago Ramalho, John Agapiou, Adrià Puigdomènech Badia, Karl Moritz Hermann, Yori Zwols, Georg Ostrovski, Adam Cain, Helen King, Christopher Summerfield, Phil Blunsom, Koray Kavukcuoglu & Demis Hassabis，谷歌 DeepMind

摘要

　　人工神经网络（ANN）十分擅于感觉处理、序列学习和强化学习，但由于缺少外部存储器，ANN 表示变量和数据结构以及长时间存储数据的能力十分有限。在本文中我们提出了一种名叫可微分神经计算机（DNC）的机器学习模型，该模型含有一个能够对外部存储矩阵进行读写的神经网络，这个外部存储矩阵好比传统计算机的随机存取存储器。

　　就像传统计算机一样，DNC 能使用外存对复杂的数据结构进行表征及操纵，但同时又像神经网络一样，能够从数据中学会这样做。使用监督学习训练后，我们展示了 DNC 能够成功回答人工合成的问题，这些问题都是设计来模仿用自然语言进行推理和推断的。