如果网络具有一个或多个cycle，即，如果可以遵循从单元返回到其自身的路径，则网络被称为循环（一般将Recurrent Neutral Network译为“递归”神经网络）。非递归网络没有cycle。

　　他的模型（Jordan, 1986年）后来被称为Jordan Network。

　　几年后，Elman（1990）发明了另一个形式略有不同的RNN 。

　　从Jordan网络到Elman网络的变化引人注目，因为它引入了从隐藏层传递信息的可能性，这显著提高了后来工作中结构设计的灵活性。

　　Hochreiter和Schmidhuber（1997）为RNN谱系引入了一个新的神经元，称为Long Short-Term Memory（LSTM）。这一术语“LSTM”最早用于指称借助于特殊设计的存储器单元，设计用来克服消失梯度问题的算法。如今，“LSTM”广泛用于表示具有该存储器单元的任何递归网络，其现在被称为LSTM单元。

　　LSTM被用于克服RNN不能长期依赖的问题（Bengio et al.，1994）。为了克服这个问题，它需要专门设计的存储单元，如图4（a）所示。

　　LSTM包括几个关键组件：

　　? states: 用于为输入提供信息的数值。

　　? gates: 用于决定states信息流的数值。

图4 LSTM单元和功能

我们用6张图详细解释了LSTM的多个gate与state之间复杂的相互协同作用，强大而又神秘的LSTM在6张深入浅出的图片中一目了然。这或许是迄今能找到的最清晰的LSTM解析了！

　　所有的权重都是需要在训练期间学习的参数。因此，理论上，如果必要的话，LSTM可以学习记住长时间依赖，并且可以学会在必要的时忘记过去。这使它成为一个强大的模型。

　　神经网络的优化

　　优化是深度学习发展历史上不可回避的课题。目前存在的优化方式有：

　　梯度法：尽管神经网络已经发展了50多年，神经网络的优化仍然严重依赖于反向传播算法内的梯度下降法。

　　剔除（dropout）法：剔除法由（Hinton et al., 2012;Srivastava et al., 2014）创造。这种技术很快拥有了影响力，不仅因为它具有良好的性能，而且实施简单。这个想法很简单：在训练时随机剔除一些单位。更正式的表述是：在每次训练中，每个隐藏单元以概率p随机地被从网络中省掉了。

　　BatchNormalization：由Ioffe和Szegedy（2015）发明的BatchNormalization是深度神经网络优化的另一个突破。他们解决了他们称为内部协变量移位的问题。直观上看，问题可以理解为以下两个步骤：1）如果输入改变（在统计学中，函数的输入有时被表示为协变量），则学习的函数几乎无用； 2）每层都是一个函数，下层参数的变化改变了当前层的输入。这种变化可能很剧烈，因为它可能改变输入的分布。

　　结论：一些启示

　　回顾深度学习的发展史，从方法论的层面，我们可以得到如下启示：

　　奥卡姆剃刀定律：人们一方面将结构层层叠加，另一方面希望反向传播可以找到最佳参数。看上去他们有追求更复杂模型的倾向。但历史表明，大道至简。比如dropout被广泛认可，不仅因为它表现出色，更多是因为它的推理简单而直观。

　　要有野心：如果一个模型提出时具有比同时期更多的参数，它必须能解决掉一个其他模型不能漂亮解决的问题。LSTM比传统的RNN复杂得多，但它出色地解决了消失梯度的问题。DBN之所以出名并不是因为它是第一个提出将一个RBM放到另一个RBM的网络，而是因为他们提出了一个算法，使得深层架构能够被有效地训练。

　　广泛阅读：许多模型受机器学习或统计学科以外的领域知识的启发。比如人类视觉皮层极大地启发了卷积神经网络的发展。甚至最近流行的残差网络也可以在人类视觉皮层中找到相应的机制。

　　希望这些启发能给读者朋友们未来的研究工作一些帮助。

　　更多精彩内容，请看论文原文 ：https://128.84.21.199/abs/1702.07800

新智元招聘

职位：COO

　　职位年薪：50万（工资+奖金）-100万元（含期权）

　　工作地点：北京-海淀区

　　所属部门：运营部

　　汇报对象：CEO

　　下属人数：10人

　　年龄要求：25 岁至 40 岁

　　语 言：英语六级以上或海外留学从业背景

　　职位背景：在IT领域有专业团队管理经验

　　学历要求：硕士及以上

　　职位描述：

　　1. 负责新智元总体市场运营，智库与人工智能百人会经营，政府关系统筹协调

　　2. 擅长开拓市场，并与客户建立长期多赢关系，有建构产业生态系统能力

　　3. 深度了解人工智能及机器人产业及相关市场状况，善于捕捉商业机会

　　4. 统筹管理公司各运营部门，兼管公司HR及财务部门

　　5. 带领运营团队完成营业额目标，并监控协调运营部与编辑部、研究部运作

　　6. 负责公司平台运营总体战略计划、合作计划的制定与实施

　　岗位要求

　　1、硕士以上学历，英语六级以上，较强的英语沟通能力或外企从业经验

　　2、 3年以上商务拓展经验，有团队管理经验，熟悉商务部门整体管理工作

　　3、 IT领域商务拓展经验、强大的团队统筹管理能力

　　4、 有广泛的TMT领域人脉资源、 有甲方市场部工作经验优先考虑

　　5、 知名IT媒体商务部门管理经验，广告、公关公司市场拓展部负责人优先

　　应聘邮箱：[email protected]

　　HR微信：13552313024