|
【新智元导读】从亚里士多德的联想主义心理学到神经网络的优化方法，CMU的这篇最新论文回顾解析了深度学习的演化历史，不仅提供了一个全面的背景知识，而且总结了一座座发展里程碑背后的闪光思想，为未来的深度学习研究提供了方向。 以古为鉴，可知兴替。今天为大家带来一篇来自CMU的最新论文：On the Origin of Deep Learning，为读者回顾和解析深度学习的发展历史。 论文地址：https://128.84.21.199/abs/1702.07800
提要 本文回顾了深度学习模型的演化历史。作者从神经网络的滥觞——联想主义心理学出发，讲到引领了过去10年研究方向的深度学习模型，比如卷积神经网络、深度置信网络、递归神经网络，一直延伸至最近流行的一些模型，如变分自编码器。作为对这些模型回顾的补充，本文特别关注了它们的前世今生，审视了早期模型是如何由初始概念组合构建而成的，以及它们如何发展成为了今天的形式。其中不少演化路径持续了半个多世纪，并朝着多元化的方向发展。例如，CNN的创建是基于生物视觉系统的先验知识; DBN是由图像模型的建模能力和计算复杂性的折衷演变而来的，现在的许多模型还是古老的线性模型的在神经层面的对应。本文回顾了这些演化路径，提供了关于这些模型是如何被开发的简明思路，旨在为深度学习提供一个全面的背景知识。更重要的是，沿着演化的路径，本文总结了这些里程碑背后的思想，提出了很多未来深度学习研究的方向。 目录 从亚里士多德的联想主义心理学谈起 从现代神经网络到深度学习 深度学习的理论基石universal approximation，以及关于“深度”的讨论 深度生成模型 卷积神经网络和人类视觉 递归网络 神经网络的优化 结论：一些启发 从亚里士多德的联想主义心理学谈起 人工智能的发展或许可以追溯到公元前仰望星空的古希腊人，当亚里士多德为了解释人类大脑的运行规律而提出了联想主义心理学的时候，他恐怕不会想到，两千多年后的今天，人们正在利用联想主义心理学衍化而来的人工神经网络，构建超级人工智能，一起又一次地挑战人类大脑认知的极限。 联想主义心理学是一种理论，认为人的意识是一组概念元素，atv，被这些元素之间的关联组织在一起。受柏拉图的启发，亚里士多德审视了记忆和回忆的过程，提出了四种联想法则： ? 邻接：空间或时间上接近的事物或事件倾向于在意识中相关联。 ? 频率：两个事件的发生次数与这两个事件之间的关联强度成正比。 ? 相似性：关于一个事件的思维倾向于触发类似事件的思维。 ? 对比：关于一个事件的思维倾向于触发相反事件的思维。 亚里士多德描述了这些在我们意识中作为常识在起作用的法则。例如，苹果的触感、气味或味道会很自然地引出苹果的概念。令人惊讶的是，如今这些提出了超过2000年的法则仍然是机器学习方法的基本假设。例如，彼此靠近（在限定距离下）的样本被聚类为一个组; 经常与响应变量发生的解释变量引起模型更多的注意; 相似/不相似数据通常用潜在空间中更相似/更不相似的嵌入表示。 此后两千年间，联想主义心理学理论被多位哲学家或心理学家补充完善，并最终引出了Hebbian学习规则，成为神经网络的基础。 表1：深度学习发展历史上的里程碑
表1 从现代神经网络到深度学习 Hebbian学习规则以Donald O. Hebb（1904-1985）命名。Donald O. Hebb在1949年的论著《The Organization of Behavior》中提出了这一法则。Hebb也因为这篇论文被视为神经网络之父。 1949年，Hebb提出了那条著名的规则：一起发射的神经元连在一起。更具体的表述是： “当神经元A的轴突和神经元B足够接近并反复或持续激发它时，其中一个或两个神经元就会发生增长或新陈代谢的变化，例如激发B的神经元之一——A efficiency——会增加。” 这个拗口的段落可以重写为现代机器学习的语言： (责任编辑：本港台直播) |
