而现在随着深度学习的发展，更纯粹的端对端学习成为了可能。比如语音识别：输入的是语音，输出的是文本；比如机器翻译：输入的是英语，输出的是其他语言；再比如谷歌 DeepMind 的 WaveNet：输入的是文本，输出的是语音。这是比较纯粹的端对端学习。但是它也有缺点——也就是需要足够大的训练集。

P5：端到端学习：语音识别。传统模型：音频→计算特征—（人工设计的 MFCC 特征）→音素识别器—（被识别出来的音素）→最后的识别器→输出。端到端学习：音频→学习算法→转录结果；在给定了足够的有标注数据（音频、转录）时，这种方法的效果会很好。

传统的语音识别，需要把语音转换成语音特征量（一般来说，就是一组数字化的向量），然后把这组向量通过机器学习，分类到各种音节（Phonemes）上（这是一件语言学的事儿）。然后，我们通过音节，才能还原出语音原本要表达的单词。

而现在，我们可以直接通过深度学习将语音直接对标到我们最终显示出来的文本。通过深度学习自己的特征学习功能来完成从特征提取到音节表达的整个过程。

当然，直接的端对端学习也有不太奏效的时候。比如，用计算机视觉判断进公司门的是否是自己的员工（用于公司打卡的计算机视觉）。

这种情况下，端对端（E2E）的模型假设应该是：

然而，这种方法行不通，因为员工进场的背景会一直变化（想象一下，公司大门对面是公路，公路上的车每分每秒都不同，背景信息噪音太大）。

所以，现实情况下我们只能：

先从图片中找到脸（使用 Attentional Network），然后将这张脸和公司内部的员工数据库比较来判断这个人的 ID（是不是我司的人）。这种方面就不是我们处女座的深度学习研究者所追求的端对端了，因为它的 workflow（流程）里掺和了太多其它信息和中间步骤，不够纯粹。

如果，一个处女座的老板真的希望自己公司的门口用上非常纯粹的人工智能打卡机，那么他只能寄希望于非常非常大量的训练集。

吴博士还举了一个关于深度学习用于医学领域的例子。这也是他在斯坦福的一个朋友的研究项——通过小孩手的 X 光来检测小孩子的年龄。

同理，理想状态应该是直接从一张 X 光图中判断小孩子的年龄：

（注：左边那个是小孩的手的形象绘图）

但是实际上工业界的做法是首先通过 X 光图像判断出人骨的构架（一些代表人骨特征的数据），再依据医学上的公式来推导出被测试者的真实年龄：

另外还有一个例子是自动驾驶：

P6：端到端学习：自动驾驶。传统模型：相机图像→检测汽车+检测行人→为汽车规划路径→控制方向。端到端学习：相机图像→学习算法→控制方向。鉴于自动驾驶对安全的关键要求，所以也就需要极高的准确度，一种完全的端到端方法仍然难以应对这项工作。只有当你有足够的 (x,y) 数据时，端到端方法才会有效，才能学会所需复杂度水平的功能。

吴博士说，他敢肯定现在市面上的自动驾驶技术都是如图所示的框架：通过图片观测附近的车（cars）与行人（pedestrians），计算出该有的路径规划（plan），然后通过公式/规则判断出应该进行的下一步行动（steering）。如果想直接把图片处理成最终的操作指令，那还真的还有很长很长的一段路要走。

以上种种例子归根结底的原因是：在这些端到端表现不太好的行业内，目前的数据规模还不足以支撑起一次靠谱的端到端的深度学习过程。

机器学习策略：如何有效地处理数据集