另一个常见的域适应场景是适应不同的文本类别：例如词类标签（part-of-speech taggers）和句法分析器（parser）等标准的 NLP 工具通常是用《华尔街日报》之类的新闻数据进行训练。但是，新闻数据训练出来的模型难以应对其他的文本类型，例如社交媒体上的消息，这是它们面临的挑战。

图11：不同的文本类别/流派

　　即使在同一个域，例如产品的评论，人们也会使用不同的单词和短语表达同样的意见。因此，用某一类型的评论训练的模型应该能够处理概括性词汇（general words）和域特定的词汇（domain-specific words），避免被域的变化所迷惑。

图12：不同的主题

　　最后，上述挑战只涉及一般的文本类别或图像类型，但是如果需要处理与个人或用户组相关的域，那么问题会被放大：例如自动语音识别（ASR）的情况。语音将会成为下一个大平台，预计到2020年，所有搜索有50%将通过语音执行。大多数 ASR 系统传统上都是用 Switchboard 数据集评估，该数据集只包含 500 名说话者。因此，这些系统对标准口音的人可能好理解，但对非标准口音的人，言语障碍者或儿童话语则难以理解。我们需要能够适应个人用户和少数群体的 ASR 系统，以确保每个人的话语都能被理解。

图13：语音应用

　　跨语言传播知识

　　最后，在我看来，从一种语言学习然后将所得知识应用于另一种语言，是迁移学习的另一个重要应用。可靠的跨语言的适应方法使我们能够利用大量的英文标注数据，然后将其应用于其他语言，尤其是数据少的语言。尽管这仍然是乌托邦式的，但最新的进展如 zero-shot 翻译证明这一领域取得了快速进步。

　　迁移学习的方法

　　迁移学习的研究历史已经比较长了，上述四种迁移学习的场景都有相应技术来应对。深度学习的兴起催生了一批迁移学习的方法，下面我们来介绍其中一些方法。

　　使用预先训练的CNN功能

　　为了激活目前最常用的迁移学习方法，我们必须了解大型卷积神经网络在ImageNet 上取得巨大成功的原因是什么。

了解卷积神经网络

　　虽然关于模型如何工作的许多细节仍然是个谜，但我们现在已经了解，较低的卷积层捕获低级图像特征，例如边（见图14），而较高的卷积层捕获越来越复杂的细节，例如身体部位、面部以及其他成分特征。

图14：AlexNet学习的样本过滤

　　最终完全连接的层通常被用于捕获与解决相应任务相关的信息，例如，AlexNet 的完全连接图层将指示出哪些功能与将图像归类到1000个对象类别之一相关。

　　然而，尽管知道一只猫有胡须、爪子、毛皮等对识别一只猫这样的动物是必需的，但这并不能帮助我们识别新物体或解决其他常见的视觉任务，如场景识别、细粒度识别、属性检测和图像检索等。

　　不过，对我们有帮助的是，捕获图像组合的一般信息以及边和形状等信息的特征。如上所述，该信息包含在 ImageNet 上训练的大型卷积神经网络中的最终卷积层或早期完全连接层之一中。

　　在完成新任务时，我们可以简单地使用在ImageNet 上预先训练的最先进CNN的现场特征，并对提取出的特征进行训练。在实践中，我们要么将预先训练的参数保持固定，要么以较小的学习率对其进行调整，以确保我们不会忘记以前学习到的知识。这种简单的方法可以在一系列视觉任务以及依赖视觉输入（如图像说明）的任务上取得令人瞩目的成果。在ImageNet 上训练的模型在处理图像时似乎捕获了一些动物和其他物体在结构和组成方式上的相互关联的细节。因此，ImageNet 任务对于一般的计算机视觉问题来说似乎是一个很好的代理，因为其中所需的知识与许多其他任务相关。

学习图像的基础结构