|
编译：弗格森 刘小芹 新智元启动新一轮大招聘：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 简历投递：j[email protected] HR 微信：13552313024 新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。 加盟新智元，与人工智能业界领袖携手改变世界。 【新智元导读】本年度的 NIPS 接近尾声，Yoshua Bengio 的报告终于出炉。Bengio这次报告主要介绍神经科学与深度学习之间的关系，逐一介绍了在神经科学上可行的深度学习概念，比如反向传播、玻尔兹曼机中的随机松弛、强化学习等。他认为，深度学习的中心议题是信度分配问题，所以，在一个大型网络中，联合的协作式学习是必须的。 在新智元微信公众号回复 1211，可下载全部 35 页 PPT。
蒙特利尔在深度学习上的优势：教员、研究院、学生等方面优势的介绍。
深度学习的中心议题：信度分配 在一个大型网络中，联合的协作式学习是必须的 例子：要想让某些隐藏的层对其他层和网络中更大的对象有用，atv直播，它们应该做些什么？ 已有的一些解决方案： 反向传播 玻尔兹曼机中的随机松弛 但是，仅有强化（学习）并不能解决这一问题，因为随着大量的神经元得到可信度，变量会呈线性扩展。 那么，大脑是如何处理这一问题的？
生物学上可行的反向传播 推荐了6篇论文
连续霍普菲尔德网络中能量函数的变化
作为推理的神经计算机：Langevin MCMC （以及其他大部分的MCMC）=降低能量的一些小步骤，加上输入的不可预测性。
对称（symmetry）的必要性
巧合 没有强制对称性的自动编码器最终是有对称权重的
对于反向传播来说，精确的对称性并不是必须的。
如何在负相位（negative phase）中执行快速的推理（比如，从后部进行抽样）。 前馈计算与循环relaxation 中的固定的互相起作用的有效条件是： 每一对连续的层组成一个好的自动编码器
深度生成网络中快速推理中使用前馈的概念，在生物学上是可行的。 从下至上的输入=基树突；从上至下的输入=顶端树突 相互预测标准=自动编码重构标准
错误传播=惊喜传播=以和谐的方式反馈
错误传播=增量目标传播 如果临时派生=错误梯度 反馈通道会计算用于反馈通道的“增量目标”，在正确的方向上移动隐藏激活因子。 被传播的、自上而下的小变化代表着“意外”信号，与此同时，反馈通道计算目标的方向，也就是反馈激活因子的移动方向。 前馈和反向传播在结构上没有任何的不同。 均衡传播
填补基于能量的模型和反向传播之间的差异
我们如何训练一个能执行计算任务的实体系统？ 考虑一个通过其确定性或随机动态执行计算的物理系统 该系统有一个可以调整的参数θ 成本函数C可以衡量答案的好坏 参数和目标 J （动态的平衡成本）间的关系是隐式的 怎样评估损失wrt参数的梯度？
动态平衡
两个阶段：前人研究平衡传播能解决以上所有问题（起码在理论上能）。
|
