：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

　　简历投递：j[email protected]

　　HR 微信：13552313024

　　新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。

　　加盟新智元，与人工智能业界领袖携手改变世界。

　　【新智元导读】谷歌DeepMind最新论文，在此前 DNC 成果的基础上，针对 DNC 无法扩展的问题，j2直播，提出了一种端到端的可微分储存器读写机制，将其称为 “稀疏可读写存储器增强的计算机” SAM。【进入新智元后台，回复“1103”下载论文】

　　。这不仅是 DeepMind 在顶级期刊 Nature 发表的第三篇论文，同时也由于期刊制度，提交和发布时间间隔相差几乎相差一年（今年 1 月提交，9 月接受，10 月发表）。

　　因此，虽然 DNC 是开拓性的工作，j2直播，但由于时间关系已不是 DeepMind 最新成果。实际上，在 DNC 的基础上，他们确实做了改善工作，就是下面这篇不久前发表在 Arxiv 的论文：“Scaling Memory-Augmented Neural Networks with Sparse Reads and Writes”。

　　其中，DNC 的第一作者 Alex Graves（Hinton 的学生，AlexNet 论文一作）及其他几位主要作者 Greg Wayne、Tim Harley 也在作者当中。可以说，SAM 是 DeepMind 团队在 DNC 基础上的提升。

　　SAM 比 DNC 强的地方在于“可扩展”，论文作者提出了一种端到端的可微分储存器读写机制，在差不多规模的数据集执行小数据（one-shot）Omniglot 字符识别等任务效率与 DNC 可比，还能扩展到更大的任务上面。

　　论文：可扩展稀疏可读写存储器增强的神经网络

摘要

　　结合了外部存储器增强的神经网络能够学习算法从而解决复杂问题。这类模型有望用于诸如语言建模和机器翻译等应用。但是，随着存储量（Memory）的增长，这类模型在时空上的可扩展性则十分有限——限制了它们在真实世界中的应用范畴。在本文中，我们提出了一种端到端的可微分储存器读写机制（end-to-end differentiable memory access scheme），我们将其称为“稀疏可读写存储器”（Sparse Access Memory，SAM）。

　　SAM 既保留了最初的表征性能，同时在庞大的存储量上训练表现也十分高效。我们在本文中展示了 ASM 达到在空间和时间复杂性的渐近下界（asymptotic lower bounds），并且发现 ASM 用少于 3000 倍的物理内存就实现了比非稀疏模型快 1000 倍速度。SAM 能够在差不多规模的数据库上对一系列合成任务和小数据（one-shot）Omniglot 字符识别任务达到可以差不多的效率，同时还可以扩展到需要10 万个时间步长和存储的任务。此外，我们还展示了如何调试这一方法，使其配适那些保持记忆（memory）间短时关联的模型，比如。

　　通过时间的内存高效反向传播示意图

　　【进入新智元后台，回复“1103”下载论文】

　　：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

　　简历投递：j[email protected]

　　HR 微信：13552313024

　　新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。

　　加盟新智元，与人工智能业界领袖携手改变世界。