在实践中，我们力求尽可能多地将知识从源设置迁移到目标任务或域。取决于数据的类型，这种知识可以采取多种形式：可以是有关物体组成的，以便模型能够更容易地识别新的物体；也可以是人们用来表达观点的概括性词汇，等等。

　　为什么迁移学习是下一个前沿

　　吴恩达（Andrew Ng）在他的 NIPS 2016 tutorial 中曾说，迁移学习将是监督学习之后的，在ML 的商业应用中得到成功的下一波动力。

图3：吴恩达在 NIPS 2016 做有关迁移学习的演讲

　　他在白板上绘制了一个图表，下图是我尽可能如实复制的图表。吴恩达说，迁移学习将成为机器学习工业应用中取得成功的关键推动力。

j2直播，从原理、方法到应用" src="http://www.wzatv.cc/atv/uploads/allimg/170325/002221ZA_0.jpeg" />

图4：ML 在工业应用中取得成功的推动力，via. Andrew Ng

　　无疑，ML 在工业上的成功使用迄今为止主要是由于监督学习的驱动。受益于深度学习的进步，以及更强大的计算力和大型有标记数据集的推动，监督学习使得 AI 重新得到很多人的关注和兴趣，初创企业得到资金支持和收购。尤其是，近年来机器学习的应用已经逐渐成为我们日常生活的一部分。假如我们不要管反对者和预测下一个 AI 冬天的人，而是选择相信 Andrew Ng 的先见，那么这些成功将会持续下去。

　　然而，迁移学习已经存在了几十年，却几乎从没有在工业中得到利用，为什么 Ng 预测迁移学习能够爆炸式地增长呢？此外，与其他机器学习的领域相比，迁移学习目前所能获得的知识相对少，这些领域例如无监督学习和强化学习最近越来越受欢迎：根据 Yann LeCun 的说法，无监督学习是通用 AI 的关键要素，由于生成对抗网络的兴起，无监督学习重新吸引了许多研究者的关注。

　　另一方面，强化学习的主推是谷歌的 DeepMind。DeepMind 利用强化学习令游戏 AI 大幅进步，以 AlphaGo 的成功最为典型。强化学习也在现实世界中取得了成功，例如帮助谷歌的数据中心将冷却费用减少了 40%。这两个领域虽然很有前途，但由于它们仍然面临许多挑战，在可预见的未来无法得到大规模的商业应用，仍然属于前沿研究论文里的主题。

图5：在 Yann LeCun 著名的 AI 蛋糕比喻中，显然没有迁移学习的位置。

　　是什么使得迁移学习有所不同？下文中，我们解释了（仅代表作者观点）推动 Ng 氏作出如此预测的原因，并概述了为什么现在正是需要关注迁移学习的原因。

　　目前在工业中使用机器学习有两个特点：

　　一方面，在过去几年中，我们已有训练越来越多准确率高的模型的能力。我们现在处于一个瓶颈阶段，对于许多任务来说，那些 state-of-the-art 的模型已经达到了非常好的水平，对用户来说已经不再是障碍。有多好？ImageNet 的最新的残差网络（residual network）在图像识别任务中已经超过了人类水平；谷歌的 Smart Reply 已经能自动处理 10% 的手机的响应要求；语音识别的错误率也一直在下降，已经与人类速记员的水平一致；机器识别皮肤癌已经与皮肤科专家的准确率一致；谷歌的 NMT 系统已经被用于超过10个语言对的翻译；百度的 Deep Voice 已经能够实时地生成人类的演讲……这个 list 还可以继续列很长。总结而言，ML 的成熟度已经允许将这些模型大规模地部署到数百万用户，并且已经得到了广泛的采用。

　　另一方面，这些模型的成功非常依赖于数据，而且是依赖大规模的有标记数据。对于某些任务和域，这些数据是可用的，因为它是经过多年精心收集得到的。少数情况下，这些数据是公开的，例如 ImageNet。但是通常大规模的有标记数据是专有的，或者非常昂贵，例如许多语音数据集或 MT 数据集，因为正是这些数据为公司提供了竞争优势。

　　但是，在现实世界中应用机器学习模型时，模型要面对的是无数从未遇过的条件，它不知道如何处理；每个客户或者每个用户都有着自己的偏好，具有或会产生与用于训练的数据不同的数据；一个模型会被要求执行许多个任务，这些任务与它被训练的任务有关联，但不一样。我们目前的所谓 state-of-the-art 的模型尽管在它们被训练过的任务或域上表现出与人类水平持平甚至超过人类的性能，但在上面提到的这些情况下，会遭受大幅性能降低，甚至完全崩溃。