具体来说，j2直播，我们需要先估计两帧之间特征的相对运动，即特征运动场（Wt），来传播前一帧的特征（Ft-1）到当前帧（Ft’）, 这里运用了已有的deep feature flow算法 [8]。然后我们还需要检测两帧之间遮挡区域，即M，来帮助有效的特征合成。最后得到既连续又没有重影的风格化结果（Ot）。

另外，我们通过在时序上对短时的连续性（short-term consistency）进行传播，从而来保证长时间的连续性（long-term consistency）。这一过程可以用如下原理框图进行表示，其中， 为t时刻合成后的特征。

具体的两帧之间特征传播合成的网络结构Net1为：

我们在不同特征空间以及图像空间都进行了测试，当传播和合成发生在靠近网络的输入层时，得到的结果会有很强的闪烁效果，不连续。当发生靠近网络的输出层时，则得到的结果会有重影效果，不清晰。我们发现只有在最深层的特征空间（网络的最中间层）能够在结果的稳定性和清晰度上取得比较好的平衡。

另一个有意思的事情是，已经训练好的特征相对运动和遮挡区域的子网络是否可以直接运用到一个新的风格中去？对此我们称为可迁移性。而它对不同的前馈神经网络风格化方法（例如Johnson[5]和StyleBank[1]），表现却不尽相同。

下表给出了，前馈神经网络风格化网络通过风格A训练得到，而特征相对运动和遮挡区域的子网络通过风格B训练得到，（注：multiple表示多种风格一起用来训练但不包括A），最后我们衡量风格化的结果是否具有连续性（estab）。通过分别对比第一二行，或第三四行，我们可以看到， 风格基元（StyleBank）网络[1]具有比Johnson[5]更稳定连续的结果，连续性不因B的不同而改变。这也说明风格基元这种可分离学习的网络具有更好的可迁移性。

　　3. Deep Image Analogy: 基于语义级别的跨风格图像匹配与合成

不同于目前用神经网络处理艺术风格的方法，这篇论文研究的是更为精确和精致的视觉特征转化。图像的视觉特征包含图像中的颜色、纹理、亮度、线条等等。不同图像之间视觉特征的转换往往带来新奇、有趣的体验，比如实现两种风格之间的相互转换（见下图第一行），真实照片和艺术画之间的相互转换（见下图第二行），两张不同照片之间色彩纹理的相互转换（见下图第三行）。

针对图像视觉特征的迁移问题，微软亚洲研究院的研究员们提出了一种新的算法（Deep Image Analogy [1]）。该算法结合图像对偶技术（Image Analogy）和深度神经网络（DNN），为内容上相关但视觉风格迥异的两张图像之间建立起像素级的对应关系，从而实现精确地视觉特征迁移。该算法支持照片的艺术风格化，古今中外不同艺术风格的互换，素描或者CG图的真实化，照片的颜色转换等等应用。该文章出现在arXiv的第一天，就因其出色的结果，在reddit的machine learning版块引发广泛地热议，并成为该版历史上No.1点赞最高的话题， 代码和演示程序已经可供下载 （点击阅读原文或将网址https://github.com/msracver/Deep-Image-Analogy复制至浏览器中打开。）

基于迭代优化（optimization）的方法（如Gatys[4]，Li[6]）和前馈神经网络 （feed-forward network）的方法（如Johnson[5], 以及StyleBank[1]），都是基于拟合目标图像整体的特征，而忽视了图像间像素的对应关系。这就导致最后的迁移结果在整体上吻合目标风格但局部会有错误，例如下图中脸部结构被参考图像中的背景纹理所破坏。而我们的方法因寻求建立源图像和参考图像之间的对应关系，所以可以精确地迁移对应区域的视觉特征。