参与：李亚洲、吴攀

pastiche 是一个法语词，它的意思是将一件艺术品模仿另一件艺术品的风格（请不要与看起来和它接近的更幽默的希腊源词 parody 混淆）。尽管这种方法已经在视觉、音乐和文学等艺术领域被使用了很长一段时间，但 pastiche 直到最近才在 Reddit 网络论坛（https://www.reddit.com/r/deepstyle/）上将大众的注意力吸引到了给图像染上著名画作的风格的任务上。通过使用一种叫做风格迁移（style transfer）的技术，用户可以通过手机或网页应用让他们自己的图片带上著名艺术作品的风格。

尽管用户已经能通过当前的技术得到美轮美奂的 pastiche 了，但我们觉得我们可以将其做得更吸引人。目前，每一种画作都有它自己的独特风格，也就是说：用户提供一张内容图像，选择一种艺术风格，然后得到一张 pastiche。但如果我们能结合多种不同的风格，探索著名艺术家风格的独特混合从而创造出一种完全独特的 pastiche 呢？

学习艺术风格的表征

在我们的论文《A Learned Representation for Artistic Style》中，我们介绍一种可以让单个深度卷积风格迁移网络（deep convolutional style transfer network）同时学习多种风格的简单方法。该网络在学习了多种风格之后可以做到 style interpolation（风格插补），其中 pastiche 可以平滑地从一种风格变成另一种风格。我们的方法也能实现实时的风格插补，让其不仅可以应用于静态图像，还可应用于视频。

扮演者：Google Brain 团队办公室的狗 Picabo

在上面的视频中，多种风格被实时地结合到了一起，最后得到的风格通过一个单风格迁移网络（single style transfer network）得到了应用。其用户可获得 13 种不同的绘画风格，可以通过滑块调整最终风格中这些风格的相对强度。在这个演示中，该用户是产生该 pastiche 的一位活跃的参与者。

风格迁移简史

尽管将一张图像的风格迁移成另一张的风格的技术已经存在了近 15 年时间 [1][2]，但利用神经网络来做这件事还是最近才出现的，j2直播，而且这很吸引人。在论文《A Neural Algorithm of Artistic Style》，研究者 Gatys、Ecker 和 Bethge 介绍了一种使用深度卷积神经网络（CNN）分类器的方法。其 pastiche 图像是通过优化（optimization）找到的：该算法会寻找一张给出了该 CNN 的底层中同种类型激活（activation）的图像，这些底层会获取风格输入（宽笔触和立体美感等等）的整体粗糙美感；该算法还会在更高层产生激活，这是获取能使对象可被识别出来的东西，这接近于那些由内容图像所得出来的东西。从某个起始点（如：随机噪声或内容图像本身）开始，该 pastiche 会逐渐细化直到这些要求都得到满足。

内容图像：Andreas Praefcke 拍摄的 Tübingen Neckarfront；提供风格的画作：Georges Rouault 的「Head of a Clown」

通过这个算法生成的这个 pastiche 看起来很壮观（spectacular）：图片来自 L. Gatys et al. "A Neural Algorithm of Artistic Style" (2015).

该成果被认为是深度学习研究领域的一项突破，因为它首次提供了基于神经网络的风格迁移的概念证明。不幸的是，这种为单张图像施加风格的方法对计算的要求很高。比如说，在网络上首次可用的演示中，用户需要将图片上传到一个服务器，然后还要等上足够喝一杯咖啡的时间才能得到结果。

后续的研究 [4,5] 为这一过程提速了不少，这些研究认识到可以将这个优化问题转变成图像变换问题（image transformation problem），其希望将单个固定的风格应用到任意一张内容图像（比如一张照片）上。然后该问题就可以这样被解决：训练一个前馈的深度卷积神经网络来调整内容图像的 corpus 以使之匹配某画作的风格。这个训练出的网络有两重目的：保持原有图像的内容，同时匹配绘画的视觉风格。

这样得到的最终结果是：一旦在一张静态图像上花了几分钟后，就可以实时运行了（例如，将风格迁移应用于实时视频）。但是，实现实时风格迁移的速度提升是有代价的——一个给定的风格迁移网络只能固定于一种单一画作的风格，失去了一些原来的算法的灵活性，因为原来的算法并不固定于任何一种风格。这意味着：如果要开发一个能够建模 100 幅画的风格迁移系统，就需要训练和存储 100 个单独的风格迁移网络。

我们的贡献：学习并结合多种风格

我们开始于对印象派时期的许多艺术家的观察，采用类似的笔触和调色板。此外，说到莫奈的画，视觉上更是相似。

Poppy Field (左) 和 Impression, Sunrise (右) by Claude Monet