尽管描述性神经方法能够生成出色的风格化图像，但仍有局限性。其中之一就是效率问题。第二类，亦即基于模型迭代的生成式神经方法（在某些论文中，也被成为「快速」神经风格迁移）解决了速度和计算成本问题，不过牺牲了模型的灵活性。关键思想就是在每个针对特定风格图像的大型图像数据集上提前训练一个前馈网络。使用梯度下降，通过迭代式地更新模型来优化网络模型。

3 当前方法上的轻微修改

有几项研究提出了基于目前最好的神经网络风格迁移算法的改进版。这些改进版保留了现有算法的架构和处理过程，但稍稍改变了损失函数来获得更好的性能。

图 2：控制神经风格迁移中的画笔大小可以生成不同风格的结果。风格样式来自梵高的《The Starry Night》

3.1 描述性神经方法的衍生

3.2 生成式神经方法的衍生

4 特定类型图像的扩展

上述神经风格迁移方法都是对静态图像进行处理的。它们可能不适用于其他类型的图像（如涂鸦、头像和视频）。目前已有很多研究正试图将最先进的神经风格迁移算法应用到这些特殊类型的图像，或指定目标的图像风格迁移中。

在涂鸦中的神经风格迁移。Champandard 完成了一些有趣的研究 [7]（如 2.1.2 节所示）。除了将语义映射引入到神经风格迁移算法中以外，人们也可以通过这种方法在图像中输入高级注释来把简单的草图转换为精细的图画。

头像的神经风格转移。尽管 Gatys 等人的算法已可以进行通用图像的风格转移，但它还不适用于头像的风格转移。由于空间约束不强，直接应用 Gatys 等人的方法可能会使人物头部变形。它对于这种类型的风格转移是不可接受的。Selim 等人 [41] 经过研究解决了这一问题，他们拓展了 Gatys 等人的算法。他们使用了增益图（gain maps）的概念来约束空间，从而在风格迁移的同时可以保留人物的面部轮廓。

指定对象的神经风格迁移。Castillo 等人 [5] 提出了指定风格迁移目标的算法。该算法是在图像中仅对单个用户指定的对象进行风格化的过程。这个想法是使用最先进的语义分割算法从风格化图像中分割目标对象，然后提取风格迁移后的对象与非风格化背景合并。

对视频的神经风格迁移。Ruder 等人 [40] 拓展了 Gatys 等人的研究，用神经风格前以算法对视频图像序列进行了处理，在本文中神经视频风格迁移中有提到。给定目标风格图片，Ruder 等人的算法引入时间损失函数来让整个视频都可以得到风格迁移。该算法背后的关键思想是使用时间约束来保持各帧之间的平滑过渡，即惩罚沿着点轨迹的偏差。Ruder 等人的算法已被证明可以能够在大多数情况下消除人工痕迹，并产生平滑的风格化视频。另一个此方向上的研究由 Anderson 等人 [3] 提出，它能够利用光流对风格迁移进行初始化，为一段影片进行渲染。

5 评估方法

对于神经风格迁移问题，并不存在什么 ground truth。神经风格迁移是一种艺术创作。不同的人可能会对同一个迁移后的结果有不同乃至截然相反的看法。因此，对神经风格迁移算法所得到的视觉结果的评估仍然还是一个悬而未决的重要问题。

从我们的角度来看，在神经风格迁移领域有两种类型的评估方法可以使用，即：定性评估（qualitative evaluation）和定量评估（quantitative evaluation）。定性评估要求参与者评估排序不同算法的结果，这依赖于参与者的观察（被称为「风格感知研究（Stylization Perceptual Studies）」）。这种评估结果可能会因参与者属性（比如年龄、职业）的不同而不同。尽管在定性评估方法上存在一定程度的不确定性，但该方法至少能够提供一些有关人们的神经艺术风格偏好的信息。而定量评估则侧重于在算法上的精确评估指标（比如时间复杂度）。

在目前的神经风格迁移领域，生成式的神经方法已经成为了一个热门的主题，其中速度是工业应用所考虑的主要问题之一。但就我们所知，之前还没有研究在同样的实验设置下运行过所有当前最佳的生成式神经方法，并在定性和定量上对它们进行比较。因此，在这一章中，我们的目标是比较 5 种当前最佳的生成式神经方法，并且使用了 Gatys et al. 的描述式神经方法作为参考。