|
：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 简历投递：j[email protected] HR 微信：13552313024 新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。 加盟新智元，与人工智能业界领袖携手改变世界。 【新智元导读】RNN无疑是深度学习的主要内容之一，增强型RNN大致可以分为四种，本文介绍第一种：神经图灵机。 背景介绍 在写的过程中开始谈到了RNNs（Recurrent Neural Networks）,我想很有必要暂停下来先对RNNs进行一些更深入的理解。当然，深度学习中有很多种网络结构，像多层网络结构（multi layered）可能大家比较熟悉，相信很多人接触神经网络是从下图这样的结构开始的，这也是deep learning中“deep”的来源。好友YJango也在专栏中写了一系列很好的介绍深层神经网络的文章，也以新颖的观点分析了深层学习为什么要deep。
为了深入理解RNNs（也可能包含其他类型的网络），结合自身的学习经历和目前对深度学习的理解，我想分享一些我所认同的神经网络（甚至深度学习）的玩法（当前的一些fancy的研究），也借此机会梳理思路，同时希望能给读者有哪怕一点点的灵感，这也是写这个系列的初衷（同时也欢迎改进意见和讨论）。这个系列大概会分为三个部分：增强型的RNNs（augmented）、无监督的RNNs学习以及RNNs的训练与优化。 有趣的是，《生活大爆炸》第十季中，神经科学家Amy已经在用皮肤细胞诱导培养出神经元细胞群，如果这个idea可以实现，那这很可能是生物计算的一大突破。计算机科学家在捣鼓人工神经网络进行认知计算的同时，神经科学家们可能在训练真正的生物“神经网络”来进行语音、图像识别等任务了吧。本文主要的 reference 是 Google Brain 的 Chris Olah 和 Shan Carter 所写的关于注意力机制和RNNs 的 Blog, 原文里有非常漂亮的动态图，想看英文的读者推荐直接阅读原文。另外Olah的blog超级赞，可以说是必看。 Citation: Chris Olah & Shan Carter, “Attention and Augmented Recurrent Neural Networks”, Distill, 2016. 引言 在某种意义上，有一张纸的人比没有的人更聪明，会使用数学符号的人可以解决不会使用数学符号的人所不能解决的问题。人类对计算机的使用让我们能够实现令人难以置信的成就，这些成就是不会使用工具的物种远远无法达到的。 一般来说，似乎很多有趣的智能形式是人类的创造力、具有启发性的直觉和一些更简洁和细致的媒介（media）之间的交互，如语言或方程（实际上都是语言，而所有的语言则都是特定的知识表示）。有时，媒介是物理存在的东西，并为我们存储信息，开奖，防止我们犯错误，或简化计算。在其他情况下，媒介可以是我们大脑中操纵的模型。无论如何，它似乎都是智能的根基。 我个人理解的这里所说的媒介，是知识表示（knowledge representation），无论是物体、光电信号还是数学符号等等，都是一样的。大脑可以把知识的表示凝聚到外界物体和信号之中，在视觉、听觉等感官系统的辅助下进行感知和推理，这样的能力是真正的人工智能必须具备的。也就意味着目前很多人所谓的“人工智能”都是狭义的。机器学习最近的研究成果开始有些这种味道，将神经网络所带来的直觉（intuition）与别的东西相结合。其中一种方法可以称为“启发式搜索”。例如，AlphaGo（Silver, et al., 2016）有一个模型学习围棋怎么工作，并通过另一神经网络的直觉和探索来指导它采取措施。类似地，DeepMath（Alemi, et al., 2016）使用神经网络作为操纵数学表达式的直觉。我们在本文中讨论的“增强的RNN”是另一种方法，其中我们将RNN连接到被精心加工过的媒介，也就是通过我们说的记忆模块，以便扩展它们的一般能力。 其实无论怎么结合，首先逃离不了“表征学习”，其次，任何形式的结合无非是给网络增加了相互作用的成本函数（或者目标函数），他们的本质都是“多目标函数的动态交互”，这与《深度学习与神经科学相遇》中“大脑优化复杂的成本函数”观点一致，这也是我在读那篇paper之前最开始的intuition，我的思考都将follow这个观点。 (责任编辑：本港台直播) |
