|
：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 简历投递：j[email protected] HR 微信：13552313024 新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。 加盟新智元，与人工智能业界领袖携手改变世界。 【新智元导读】本文是利物浦大学张嘉伟向新智元的投稿，原文首发于知乎。他翻译了论文“Toward an Integration of Deep Learning and Neuroscience”并写下了和大家交流和学习的感想。论文作者是 Adam H. Marblestone, Greg Wayne and Konrad P. Kording，该文深入而精彩地论述了深度学习与神经科学的联系。欢迎向新智元投稿，进行你的深度学习知识分享。 开始之前看一张有趣的图——大脑遗传地图：
Figure 0. The Genetic Geography of the Brain- Allen Brain Atlas 成年人大脑结构上的基因使用模式是高度定型和可再现的。Figure 0 中所示的动态热图表示跨个体的这种图案化模式的共同结构，特别是一些介于解剖区域对（pairs of anatomic regions）之间差异表达的基因数目，在我们的实验测量中，有5/6的大脑中发现了类似共同的模式。 热红色阴影代表在其转录调节中非常不同的脑区域，而较冷的蓝色阴影代表高相似性的区域。先看这张图的用意是在于让读者了解目前大脑、神经科学的前沿，人类不仅具有了解全部大脑基本功能的能力，并且已经具备将各功能区域映射到自身遗传物质编码上的能力。不仅如此，更多先进的探测技术已经能让人们记录下更详细的神经元内部的活动（dynamics），这使得对大脑内部计算结构的分析成为可能，上图所示内容凝结了众多科学家的努力，相信一定是21世纪最伟大的科学突破之一。
摘要 计算神经科学专注于计算的详细实现，研究神经编码、动力学和电路。然而，在机器学习中，人工神经网络倾向于避开精确设计的代码，动力学或电路，有利于成本函数的强力优化（暴力搜索），通常使用简单和相对均匀的初始架构。在机器学习中，近期的两个发展方向创造了连接这些看似不同观点的机会。首先，使用结构化体系架构，包括用于注意力机制，递归和各种形式的短期和长期存储器存储的专用系统（Specialized System）。第二，成本函数和训练过程变得更加复杂，并且随着时间的推移而变化。在这里我们根据这些想法思考大脑。我们假设（1）大脑优化成本函数，（2）成本函数是多样的且在不同的发展阶段大脑不同位置的成本函数是不同的，和（3）优化操作是在一个由行为预先架构好的、与对应计算问题相匹配的框架内执行。为了支持这些假设，我们认为通过多层神经元对可信度分配（Credit Assignment）的一系列实现是与我们当前的神经电路知识相兼容的，并且大脑的一些专门系统可以被解释为对特定问题实现有效的优化。通过一系列相互作用的成本函数，这样非均匀优化的系统使学习过程变得数据高效，并且精确地针对机体的需求。我们建议一些神经科学的研究方向可以寻求改进和测试这些假设。 # 这里提到的相互作用的成本函数非常有趣，在目前的深度学习领域，使用多目标函数的学习任务包括multi-task learning，transfer learning，adversarial generative learning等，甚至一些带约束条件的优化问题都可以一定程度上看做是多目标函数的。（“目标函数”是旨在最小化成本的函数，论文中使用成本函数，而所有的智能学习过程都是旨在降低各种成本函数值，比较普遍地人们会使用“信息熵”来作为量化标准，那么学习就可以看做是降低不确定性的行为）更有趣的是怎么相互作用？相互作用的目标函数对学习过程有怎样的帮助？引言 今天的机器学习和神经科学使用的并不是同一种“语言”。 脑科学发现了一系列令人眼花缭乱的大脑区域（Solari and Stoner, 2011）、细胞类型、分子、细胞状态以及计算和信息存储的机制。 相反，机器学习主要集中在单一原理的实例化：函数优化。 它发现简单的优化目标，如最小化分类误差，可以导致在在多层和复现（Recurrent）网络形成丰富的内部表示和强大的算法能力（LeCun et al., 2015; Schmidhuber, 2015）。 这里我们试图去连接这些观点。 (责任编辑：本港台直播) |
