在文本空间布局后，通过对图像前后景显著颜色的分析，在色彩和谐最优化框架中，保持色彩整体和谐，并最大化文字和背景色彩的差异以使得最后的图文混排能在全局尊重原图的色彩和谐性，又能在局部保证文字的可阅读性。全局色彩的和谐计算采用了著名的“Color Harmonization”中提出的心理学色彩模型，并结合了这篇论文中提出的图像前后景主题色在不同主题下的模型偏好，从而找到最适合的全局主题色。针对局部的视觉对比度最大化，论文提出了最远色调角黄金取样法，即找到文本覆盖背景下图像的显著颜色映射到tone和hue空间，在二维色调空间（tone, hue）求最远点，并取显著颜色点到最远点的黄金分割点。通过整个框架，能完成整个图文设计在美学感知监督下的自动化。

图2 系统框图

这篇论文提出的系统允许用户上传具体主题的视觉背景图像以及一些文本语句。并在第二阶段对原始图像进行了处理，通过结合显著值、脸部、文本以及目光注意力图以获取视觉感知图，进而重新调整图像的大小，使之符合目标布局尺寸，并根据视觉感知图保留重要的区域。重新调整过的图像就能用来排列空间分布的布局模板。当图像调整后，已有的语句、空间布局以及文本就通过第三阶段中的能源优化工艺重叠在背景图像上了。在第四阶段的文本着色上，直播，首先分析经过剪裁的图像的调色板，同时根据主题属性挑选主题色彩。应用特定色相/色调模型、调色板、语义色彩以及内容特点，就可以通过保持局部色彩和谐以及局部可读性对文本进行重新着色。

图3 布局算法（a）带有目光注意力（黄色）的视觉重要性图（灰色）；（b）从前5个模板中挑选出的模板；（c）输入文本；（d）排印程序的细节，这里能源定义为E(L)，通过迭代控制字体高度，在局部优化解决方案中会被最小化，；（e）受到下向上的图像特点和自上向下的空间布局限制的排印结果。

图4 色彩分析与优化的示意图

这篇论文发表之后，得到学术界的广泛关注，从2016年至今在ACM数据库中已有超过260次下载。此外，该项研究不仅具有重要的理论意义，而且具有广泛的应用价值。例如，论文提出的基于图像内容的颜色检测算法已经在实际产品Office Sway中得到应用。目前每个月有来自全球60多个国家的超过40多万用户在使用Office Sway这一新产品开展设计。

这篇论文展现了多媒体与艺术设计以及颜色心理学几个不同学科的深度融合，将人工智能的方法用于艺术设计中。可以说，颜色心理学的模型为多媒体设计打开了”心灵“的窗口，而美学设计思维则为多媒体分析展开了想象的翅膀！

论文下载地址：https://www.microsoft.com/en-us/research/publication/automatic-generation-of-visual-textual-presentation-layout/（点击阅读原文即可下载）

论文作者

杨绪勇，微软亚洲研究院和中国科技大学联合培养博士生，喂车车联合创始人

梅涛，微软亚洲研究院资深研究员，美国计算机协会杰出科学家，国际模式识别学会会士

徐迎庆，前微软亚洲研究院主管研究员，清华大学美术学院信息艺术设计系主任

芮勇，前微软亚洲研究院副院长，联想CTO

李世鹏，前微软亚洲研究院副院长，硬蛋CTO

另外，还特别感谢这篇论文的合作者——来自中国科技大学的博士生吴岳和来自清华美术学院的研究生于俊杰。返回搜狐，查看更多