|
2016/1210/181311.html">NIPS 2016召开至今，干货满满，直播，、、等公司和学者的演讲、展示的材料不断放出。今天小编又给大家带来两位重磅级学者Yoshua Bengio 和 Yann LeCun 在NIPS2106上的讲演材料。Bengio主要介绍从生物学角度介绍了深度学习，而LeCun讲解了基于能量的GAN及其对抗训练的方法。点击阅读原文即可下载两份材料的PDF 1【生物学可信深度学习】《Towards biologically plausible deep learning》by Yoshua Bengio
P2-5.深度学习的核心议题是信用分配 也就是，隐藏层要做什么才能对其他层及该网络更大的目标有用？现有的方法是反向传播算法及玻尔兹曼机中的随机松弛。但是强化学习不行，因为方差会随着神经元获得的信用数量呈线性上升。那么大脑有时如何做的呢？ 生物学上可信的反向传播。 连续 Hopfield 神经网络的能量函数变异
P6-9. 作为推理的神经计算需要对称性，巧合的是没有强制对称的自动编码器最终会有对称权重。反向传播不需要严格的对称。
P10-13 如何在负相中进行快速推理（后验采样）。对于深度生成网络的快速推理前馈初始化在生物学上是可信的。误差的传递是件好事，直播，因为它能实现一种和谐。而误差的传递其实就是增量目标的传递。
P15-22 我们如何训练一个执行计算的物理系统？首先要实现动态平衡
P23- 26STDP 连接 平衡传播产生 STDP——一个微分对比的 Hebbian 更新 P27. 继承反向传播的特性 P28. 误差传递等于增量目标的传递
P29-30. 平衡传播包括作为前馈网络中一个特例的一般反向传播 P31. 开放性的问题 摆脱能量公式的局部极小值，同时泛化到被其动力学限制的系统中，还要学习过渡算子（transition operator），这样就可以避免权重对称约束 将这些想法推广到无监督学习中 一段时间后反向传播会怎么样呢？
P32. STDP vs 反 STDP：可能吗？ P33. Variational Walkback
P34.GAN 在大脑中的部署和 Actor-Critic 算法：质疑单一目标优化 Dogma 2.【能量 GAN 与对抗方法】《Energy-Based GANs & other Adversarial things》by Yann LeCun P2. 无监督学习 P3. 基于能量的无监督学习 学习一个满足以下两个条件的能量函数 在数据流形上取值较低 在其他地方取值较高
P4-5. 在带有能量函数的变量之间扑捉相关性（dependencies） P6. 学习该能量函数 P7-9. 塑造能量函数的 7 个策略 P10-22 对抗训练。 难点是在不确定的情况下预测。 基于能量的无监督学习 对抗训练：一个可训练的目标函数 基于能量的 GAN。 EBGAN 损失函数 EBGAN 的解决方法是纳什均衡 ENGAN 中的 D 是一个梯形网络
基于能量的 EBGAN 在 128×128 像素的 ImagNet 上训练的结果。
基于能量的 EBGAN 在 256×256 像素的 ImagNet 上训练的结果。
P23-34 视频预测（经过对抗训练） 用于视频预测的多尺度卷积网络 不能使用平方误差：模糊预测 预测的无监督学习
视频预测：预测 5 帧的结果图
视频预测：预测 50 帧的结果图 P35-P43 风格迁移 风格迁移架构
风格迁移结果
风格迁移：风格插补（interpolation） 点击阅读原文下载PPT ©本文为机器之心整理，转载请联系本公众号获得授权。 ?------------------------------------------------ 加入机器之心（全职记者/实习生）：[email protected] 投稿或寻求报道：[email protected] 广告&商务合作：[email protected] (责任编辑：本港台直播) |
