参与：Pandas（经原作校对）

相信每个人都会被卡哇伊的二次元妹子萌到，我们很多人也可能梦想自己创作二次元人物，但奈何技艺不精、功力不足，得到的结果往往无法达到我们的期望。现在人工智能来帮你了！近日，来自复旦大学、纽约州立大学石溪分校和同济大学的一些研究者打造了一个基于 GAN 的动漫人物面部图像生成器，并且还开放了一个网页版本。研究者近日发表了一篇博客对该项研究进行了介绍。

论文地址：https://makegirlsmoe.github.io/assets/pdf/technical_report.pdf

在线体验：

我们都喜欢动漫人物，也可能会想自己创作一些，但我们大多数人因为没经过训练所以无法做到。如果可以自动生成专业水准的动漫人物呢？现在，只需指定金发/双马尾/微笑等属性，无需任何进一步干预就能生成为你定制的动漫人物！

在动漫生成领域，之前已经有一些先驱了，比如：

ChainerDCGAN：https://github.com/pfnet-research/chainer-gan-lib

Chainer を使ってコンピュータにイラストを描かせる：

IllustrationGAN：https://github.com/tdrussell/IllustrationGAN

AnimeGAN：https://github.com/jayleicn/animeGAN

但这些模型得到的结果往往很模糊或会扭曲变形，要生成业界标准的动漫人物面部图像仍然是一大难题。为了帮助解决这一难题，我们提出了一种可以相当成功地生成高质量动漫人物面部图像的模型。

数据集：模型要想质量好，首先需要好数据集

要教计算机学会做事，就需要高质量的数据，我们的情况也不例外。Danbooru（https://danbooru.donmai.us）和 Safebooru（https://safebooru.org ）等大规模图像讨论版的数据有很多噪声，我们认为这至少一定程度上解释了先前工作的问题所在，所以我们使用了在 Getchu 上销售的游戏的立绘（立ち絵）图像。Getchu 是一家展示日本游戏的信息并进行销售的网站。立绘具有足够的多样性，因为它们具有不同的风格，来自不同主题的游戏；但它们也具有很好的一致性，因为它们全部都是人物图像。

我们也需要分类的元数据（即标签/属性），比如头发颜色、是否微笑。Getchu 并没提供这样的元数据，所以我们使用了 Illustration2Vec，这是一个基于卷积神经网络的用于预测动漫标签的工具，地址：https://makegirlsmoe.github.io/main/2017/08/14/saito2015illustration2vec

模型：核心部分

为了实现我们的目标，就必须要有一个优秀的生成模型。这个生成器需要能理解并遵从用户给出的关于特定属性的要求，这被称为我们的先验（prior）；而且它还需要足够的自由度来生成不同的详细的视觉特征，这是利用噪声（noise）建模的。为了实现这个生成器，我们使用了生成对抗网络（GAN）这种流行的框架。

GAN 使用一个生成器网络根据前提和噪声输入来生成图像，GAN 还有另一个网络会试图将生成的图像和真实图像区分开。我们同时训练这两个网络，最终会使得生成器生成的图像无法与对应前提下的真实图像区分开。但是众所周知要训练一个合适的 GAN 是非常困难的，而且非常耗时。幸运的是，利用最近发表的相关进展 DRAGAN，可以仅需相对很少的计算能力，就能实现可与其它 GAN 媲美的结果。我们成功训练了一个 DRAGAN，它的生成器类似于 SRResNet。

我们也需要我们的生成器能理解标签信息，这样才能将用户给出的要求整合进来。受 ACGAN 的启发，我们向生成器输入标签以及噪声，并在鉴别器的顶层增加了一个多标签分类器，用来预测图像所分配的标签。

使用这些数据和这个模型，我们就能在有 GPU 的机器上进行训练。

本节所涉及的技术：

GAN：https://papers.nips.cc/paper/5423-generative-adversarial-nets

DRAGAN：https://arxiv.org/abs/1705.07215

SRResNet：https://arxiv.org/abs/1609.04802

ACGAN：https://arxiv.org/abs/1610.09585

样例：一张图片胜过千言万语

为了一窥我们的模型的质量，请参看下面的图像，可见我们的模型能很好地处理不同的属性和视觉特征。

固定随机噪声并且采样随机先验是一个很有意思的设置。现在，该模型被要求生成具有相似主要视觉特征的图像，并与之同时结合不同的属性，结果也很不错：

另外，通过固定前提和采样随机噪声，该模型可以生成具有不同视觉特征，但具有相同属性的图像：

网页界面：在你的浏览器上使用神经生成器