参与：马亚雄、吴攀

本文作者为 Talla 公司的高级数据科学家 Daniel Shank。他最近在旧金山举办的机器学习会议上发表了关于神经图灵机的报告。以下是报告视频和讲稿。

嗨，大家好，我是 Talla 公司的高级数据科学家 Daniel Shank，今天我要谈谈一个新的振奋人心的机器学习架构，它被称为神经图灵机（Neutral Turing Machine/NTM）。

首先，我要对这个架构做一个总体的概述，即这个架构是什么？然后我会开始讨论为何说这个架构是重要的，以及它是如何与未来的机器学习相关的，再然后，我会谈为什么我们不能马上在每个地方用到这些东西。例如，假如它非常有作用，那为何我们不将它立即用在产品中。最后我会讨论最近发表在 Nature 上的神经图灵机（Neutral Machine）的论文以及它后续的架构，并且我会展示对这个模型的一些有趣的扩展。

为什么我们要关心神经图灵机？为了解释神经图灵机为何如此重要，我们必须实实在在解释一下普通的图灵机（Turing machine）是什么。

图灵机就是一种简单的计算机模型。正如现代计算机一样，其思想中也包含了一个外部存储器和某种处理器。本质上，图灵机包含上面写有指令的磁带和能够沿着磁带读取的设备。根据从磁带上读取到的指令，计算机能够决定在磁带上不同的方向上移动以写入或者擦除新符号等等。

那什么又是神经图灵机（Neural Turing Machine）呢？简而言之，神经图灵机就是一种神经网络，但是它从图灵机中获得灵感来尝试执行一些计算机可以解决得很好而机器学习模型并不能很好地解决的任务。本质上，它包括一个神经网络控制器（controller）、读取磁带设备的模拟器或处理器，如果你愿意的话，还可以加上外部存储或记忆（memory）。它在所有读取到的输入上都是持续的。就像长短期记忆（LSTM）网络或者其他相关的模型一样，它是一个循环神经网络（recurrent neural network）。这意味着，像我们大多数人熟悉的一样，它读取类似变量的输入，但是，神经图灵机和图灵机也有不同之处：除了有一个记忆/内存之外，神经图灵机也可以接受一连串连续的输入并提供输出。

这里的关键思想是神经图灵机基本上就是可微分的图灵机，这是很重要的，因为我们每天在计算机上做的算法和事情对计算机来说是非常困难的，原因是计算机的计算是绝对的。要么是 0 要么是 1。计算机在「非此即彼」的逻辑或者整数中运作。然而大多数的神经网络和机器学习实际上不是这样的。它们使用实数。它们使用更加平滑的曲线，使得它们更加容易训练，这意味着，在看到它们的输出时，你可以轻易地通过输出追踪回去调整参数以得到希望的输出。当计算机 CPU 尽是诸如异或门（XOR）和与门（AND）等跳变函数时，这是非常难以实现的。神经图灵机采用了基本的图灵机中的所有功能找到了平滑的模拟函数。因此，比如在磁带上，神经图灵机可以决定稍微向左或者向右移动，而不是单纯的向左或者向右，这可以让你完成一些了不起的事情。

在神经图灵机能够执行的事情中，我们有一些激动人心的例子，当然也有一些不那么令人激动的......

但是缺点是它只能够学习简单的算法。例如接受输入并复制它。这看起来是极其平常的，但是对当前的神经网络来说，这实际上是一件非常困难的事情，因为神经网络需要学习出一个算法才能把这个工作做得足够好。神经图灵机能够接受输入和输出，并且学习得到能够从输入映射到输出的算法。这确实相当令人兴奋，因为这本质上是在尝试着取代程序员。虽然我们还未实现，但是这的确很酷。这意味着一旦习得了算法，它们可以接受输入并且外推到基于该算法的任何变量输出。接下来你会立即明白这为什么很酷。因为它们还非常擅长语言建模（language modeling）。如果你不知道什么是语言建模，你可以思考一下自动完成（autocomplete）。语言建模就是猜测一个单词在句子或者文档语境中的意思。神经图灵机也能够在 Facebook 的 bAbI 数据集上表现得很有前景，bAbI 数据集是被设计用来鼓励研究者们提升神经网络的通用认知推理能力的。

在复制/重复任务上的泛化