|
另一方面，自然地我们会想到全局权重扰动（或平行扰动）即同时扰动网络中的所有权重。 它能够优化小型网络以执行任务，但通常引发高方差。 也就是说，梯度方向的测量是有噪声的，并且其在不同扰动之间剧烈变化，因为权重对成本函数的影响被所有其他权重的变化掩蔽，然而只有一个标量反馈信号指示成本的变化。 对于大型网络，全局权重扰动是非常低效的。 事实上，如果时间测量计数网络从输入到输出传播信息的次数，则并行和串行扰动以大致相同的速率学习（Werfel et al., 2005）。 上述的过程，在反向传播过程中形成了一对多（目标函数标量变化对应多种可能的权重变化）的映射关系，这是任何一般意义上的函数都无法拟合的（信息不能被完全学习），因为这种映射不属于函数。一些效率增益可以通过扰乱神经活动而不是突触权重来实现，遵循神经突触的任何长程效应通过神经元介导的事实。就像在权重扰动中，而不同于串扰的是，最小的全局协调是必须的：每个神经元仅需要接收指示全局成本函数的反馈信号。在假定所有神经元或所有权重分别被扰动并且它们在相同频率处被扰动的假设下，节点扰动梯度估计的方差远小于权重扰动的方差。在这种情况下，节点扰动的方差与网络中的细胞数量成比例，而不是突触的数量。 所有这些方法都是缓慢的，不是由于对所有权重的串行迭代所需的时间复杂度大，就是对于低信噪比梯度估计的平均所需的时间复杂度大。然而，他们的信誉（credit），这些方法都不需要超过关于局部活动和单一全局成本信号的知识。大脑中的真实神经回路似乎具有编码与实现那些算法相关的信号的机制（例如，可扩散神经调节器）。在许多情况下，例如在强化学习中，基于未知环境的交互计算的成本函数不能直接进行微分，并且代理（agent，智能代理，强化学习中的术语）不得不部署聪明的twiddling以在系统的某个级别进行探索（Williams, 1992）。 这个方法对于不可微的目标函数是非常有用的，在我的知识范围内，目前还没有发现深度学习有对不可微分的目标函数探索过。但如上文所述，这是非常缓慢的，可能也只适合在强化学习（reinforcement learning）中使用。在深度强化学习中（比如AlphaGo）可否使用不可微分的目标函数呢？值得探索相反，反向传播通过基于系统的分层结构计算成本函数对每个权重的灵敏度来工作。 相对于最后一层的成本函数的导数可以用于计算关于倒数第二层的成本函数的导数，等等，一直到最早的输入层。 可以快速计算反向传播，并且对于单个输入 - 输出模式，其在其梯度估计中不存在方差（variance = 0）。 反向传播的梯度对于大型系统而言比对于小系统没有更多的噪声，因此可以使用强大计算能力有效地训练深而宽的架构。 这段基本解释了目前的深度神经网络为什么使用BP可以被有效训练。【说明】论文较长，以上为前两章，后续请关注新智元更新；由于微信格式所限，文中内链可以访问知乎原文查看，链接： https://zhuanlan.zhihu.com/p/23782226 https://zhuanlan.zhihu.com/p/23804250 新智元招聘 职位 运营总监 职位年薪：36- 50万（工资+奖金） 工作地点：北京-海淀区 所属部门：运营部 汇报对象：COO 下属人数：2人 年龄要求：25 岁 至 35 岁 性别要求：不限 工作年限：3 年以上 语 言：英语6级（海外留学背景优先） 职位描述 负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作，人工智能及机器人产业方向 擅长开拓市场，并与潜在客户建立良好的人际关系 深度了解人工智能及机器人产业及相关市场状况，随时掌握市场动态 主动协调部门之间项目合作，组织好跨部门间的合作，具备良好的影响力 带领团队完成营业额目标，并监控管理项目状况 负责公司平台运营方面的战略计划、合作计划的制定与实施 岗位要求 大学本科以上学历，硕士优先，要求有较高英语沟通能力 3年以上商务拓展经验，有团队管理经验，熟悉商务部门整体管理工作 对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解 具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力 (责任编辑：本港台直播) |