由于饱和激活（saturating activation）带来的梯度消失（例如，在RNN中）优化中的难题近似光滑。有时会有效，但是速度非常慢，且只有接近性的结果。通常是完全的失败。也许可以使用一个更深的网络，方法：端到端。但是，开奖，训练和测试的时间漫长。曲线没有得到很好地捕捉。

Miticlass：问题捕捉边界“只向前”的反向传播

经验：局部搜索会起作用，但不需要梯度

　　第三部分 端到端的训练

端到端 VS. 分解

架构：Lenet 和 2层ReLU连接，由sigmoid 连接; 端到端的方法：在主要的目标上训练整个网络；分解方法：增强目标，具体到第一网格的损失，使用每个图像的标签

为什么端到端的训练不起作用：Bengio 和 Gulcehre在2016年曾进行过类似的训练。他们建议，可能是由于“局部最小化”的问题。但是，我们证明，并不是这个问题。

随机初始化中的信号到噪音比例（SNR）

　　第四部分 学习一些正交函数

学习一些正交函数，让H成为经典正交函数的假设

使用基于梯度的深度学习来学习H

分析工具

在梯度中，包含了多少信息。定理。

证明概念

证明概念的过程

证明概念的过程

例子：奇偶函数

例子：奇偶函数

可视化描述：线性周期函数

新智元招聘

职位：客户经理

　　职位年薪：12 - 25万（工资+奖金）

　　工作地点：北京-海淀区

　　所属部门：客户部

　　汇报对象：客户总监

　　工作年限：3 年

　　语 言：英语 + 普通话

　　学历要求：全日制统招本科

　　职位描述：

精准把握客户需求和公司品牌定位，策划撰写合作方案；

思维活跃、富有创意，文字驾驭能力强，熟练使用PPT，具有良好的视觉欣赏及表现能力，PS 能力优秀者最佳；

热情开朗，擅长人际交往，良好的沟通和协作能力，具有团队精神；

优秀的活动筹备与执行能力，较强的抗压能力和应变能力，适应高强度工作；

有4A、公关公司工作经历优先；

对高科技尤其是人工智能领域有强烈兴趣者加分。

　　岗位职责：