本论文的初始想法如下图所示。给定原图像A和目标图像，由于它们在视觉风格上的差异性，所以直接建立二者之间的像素对应非常困难。因此，我们引入了图像对偶的概念。假设存在图像和，且存在这样的对偶关系：。那么，该对偶关系隐含两条假设，1）和，同理和是完全对齐的；2）和属于同一视觉风格而和属于另一视觉风格。

有了这两个假设， 的跨风格映射关系则可以转化为一个相同位置的映射和一个统一风格内的映射，如下图所示。相似的我们可以通过，转换的映射。利用和建立起桥梁后，和之间的映射问题就变得可解，然而和却未知。鉴于此，我们又利用在图像识别任务上训练的卷积神经网络，逐步恢复出和，在恢复的同时也逐步优化和之间的映射。

神经网络可以恢复和的原因在于它具有分离（decouple）图像的内容和视觉细节的能力。例如在VGG网络中，输入图像被逐步过滤（filter），使得越上层的特征越代表图像的内容（语义结构等），而越下层的特征则越代表视觉细节（纹理颜色等）。因此我们可以使得通过融合的内容结构与对应位置的的视觉细节重构；同理可以重构。

Deep Image Analogy的工作框架图

输入图像和首先送入VGG网络得到每一层的特征图。在最高层，我们假设未知的A’的特征等于A的特征，未知的B的特征等于B’的特征。这种假设基于VGG的特性：最高层的特征只包含语义信息而与视觉特征相关性小。

有了，，，四张特征图，我们再通过Patchmatch算法建立起该层和这两个方向的对应关系：和。通过上层采样可作为下层的初始值，同时指导采样中的值和融合得到未知图A’在层的特征估计。同理可得到另一未知图在层的特征估计。有了和，层的对应关系和就可得到更新。在每一层重复此算法，输入图像和的对应关系便逐步细化，到底层，我们便得到了和之间每一个像素的对应关系。利用此关系拷贝对方对应位置的视觉特征，便可实现精确地风格转化。

虽然图像匹配算法在视觉和图形学里是非常经典的问题，但目前很多非常流行的匹配算法，例如SIFT flow、 Patchmatch、 Deepflow等，都是基于颜色、梯度、纹理等低级特征 （low-level feature），没有办法建立起风格（包括颜色、纹理、线条等）迥异的两张图像之间的对应关系，如下图所示。鉴于此，微软亚洲研究院的研究员们利用图像对偶技术（Image Analogy）的框架和深度神经网络（DNN）提取的高层特征（high-level feature）, 则能完全建立图像间的语义对应（semantic matching）。

Deep Image Analogy的丰富应用：

图像的艺术风格化：该技术的应用将可以使用户输入的图片自动地转化为给定的艺术风格，让艺术大师为你定制作画。

注：每一组中右边图像为输入照片，上方两张为参考艺术画，下方两张为我们生成的结果。

艺术品的真实化：该技术还可以将各种绘画，素描或者CG图转为真实的照片。

艺术风格互换：则可以实现不同艺术风格间的互换。

照片颜色转换：还可以实现不同照片之间区域颜色的互换。