在与现有模型的对比测试中,LSFM 更准确地表示人脸,现在论文的预印版已经在 Springer 旗下的International Journal of Computer Vision 在线公开发表,下期就会出版。 在一项对比试验中,他们用一张孩子的照片创建这个孩子的 3D 人脸模型。使用 LSFM,模型看起来与照片上的孩子很像。但是,使用当前最常用一个变形模型——这些模型的数据是完全基于成年人的——生成的模型看起来像一个跟照片上孩子无关的成年人。
LSFM-global 形状模型的可视化呈现:最左边是平均形状(μ),后面依次是最初的 5 个主要组成部分,后面的每张脸都从平均脸上增加或减去了某些特征。来源:Booth, J., Roussos, A., Ponniah, A. et al. Int J Comput Vis (2017). doi:10.1007/s11263-017-1009-7 Booth 和他的同事还有足够的扫描图像,为不同的种族和年龄的人创造更具体的变形模型。不仅如此,他们的模型还能根据面部形状自动将人脸按年龄分类。 论文:大规模 3D 变形模型
摘要 我们提出了一个大规模的人脸模型(LSFM),这是一个3维形变模型(3DMM),从9663个独特的脸部标志中自动地搭建。研究者介绍,据他们了解,LSFM 是迄今为止被构建出来的最大规模的形变模型,包含了从一个巨大的人口变量中提取的统计信息。为了搭建出这样一个模型,研究者创造了一个全新而且全自动且稳定的形变模型搭建管道,通过对目前最好的密集(dense)通信技术进行评估来获得信息。 训练 LSFM 的数据集包括关于每个主题的丰富的人口统计信息,不仅可以构建全球3DMM模型,还可以构建针对特定年龄,性别或族裔群体的模型。研究者利用所提出的模型,从3D形状单独执行年龄分类,并重建低维模型空间中的噪声样本外数据。此外,他们还对构建的3DMM模型进行系统分析,展示其质量和描述能力。 研究提出的深度定性和定量评估表明,他们所提出的3DMM取得了最先进的结果,大大优于现有模型。最后,为了造福研究社区,他们公开了所提出的自动3DMM建造管道的源代码,以及构建的全球3DMM和根据年龄,性别和种族量身定制的各种定制模型。
全自动构建大型 3DMM 流程示意图。(1)基于综合呈现视图进行自动标记。这些视图注册了像素级的形状信息,因此可将 2D 标记(landmark)可信地投影回 3D 表面。(2)在自动标记的引导下,3D 模型不断迭代变形,以精确匹配数据集的每个 3D 面部网格。(3)构建初步的全局 PCA,(4)自动删去错误的对应。(5)由剩余的干净数据构建 LSFM 模型。来源:Booth, J., Roussos, A., Ponniah, A. et al. Int J Comput Vis (2017). doi:10.1007/s11263-017-1009-7
为MeIn3D数据集的特定子集产生定制纹理模型。来源:Booth, J., Roussos, A., Ponniah, A. et al. Int J Comput Vis (2017). doi:10.1007/s11263-017-1009-7 训练 AI 系统,将 2D 人脸快照精准转换为 3D 模型 Booth 团队现在已经将把新的模型投入使用。在另一篇论文中,也是他们投稿 CVPR 2017 的论文 Face Normals “in-the-wild” using Fully Convolutional Networks 当中,研究人员利用 LSFM 合成的 100,000 张人脸训练了一个人工智能程序,将任意(casual)2D 快照转换为精确的 3D 人脸模型。研究人员表示,这种方法可以用于查看照片上犯罪嫌疑人从另外的角度看上去是什么样子,或者 20 年以后脸变成什么样了。至于更偏公众向的应用,你也可以使用这一系统根据历史人的肖像画制作 3D 的这个人物出来。
从左到右:Photoface,ICT-3DRFE,3D变形模型拟合(fitting),使用作者提出的 3D变形模型合成的图像。下排是每个数据集相关的 ground truth normal。来源:Trigeorgis G.et al., Face Normals “in-the-wild” using Fully Convolutional Networks LSFM 也有医疗应用的潜力。如果有人因故没了鼻子,这项技术可以根据面孔其他部分的特征,帮助整形外科医生确定新的鼻子应该长成什么样子。 (责任编辑:本港台直播) |