业界 | 腾讯AI Lab计算机视觉团队负责人刘威博士详解CVPR 2017入选论文

2017-08-11 12:53 来源:机器之心 视频 /计算机 /腾讯

原标题：业界 | 腾讯AI Lab计算机视觉团队负责人刘威博士详解CVPR 2017入选论文

机器之心原创

作者：高静宜

2016 年 4 月，直播，腾讯 AI Lab 正式成立，结合腾讯的业务场景，针对计算机视觉、语音识别、自然语言处理和机器学习四个方向进行人工智能领域的相关研究。其中，计算机视觉团队是较早组建的研究团队之一，由计算机视觉和机器学习专家刘威博士带领十余位基础研究科学家，具体围绕大规模图像分类、视频编辑与生成、时序数据建模和增强现实等项目展开研究。该团队专注于中高层视觉问题，加深可视结构数据理解，同时对计算机视觉+NLP、计算机视觉+信息检索等学科交叉领域具有浓厚的研究兴趣。

今年，腾讯 AI Lab 计算机视觉团队研究成果颇丰，有六篇论文入选了计算机视觉领域全球顶级学术会议 CVPR 2017。为此，机器之心采访了腾讯 AI Lab 计算机视觉团队负责人刘威博士及团队成员，对论文中的研究工作进行了详细的解读。

一、关于论文《Real Time Neural Style Transfer for Videos》

机器之心：这篇论文中，团队提出了一种全新两帧协同训练机制，让卷积神经网络能够在做像素级别的视频编辑时保持时域一致性。能否具体介绍一下这个过程是如何实现的？

腾讯 AI Lab：在每一轮训练时，我们使用了连续两帧的视频画面。在计算损失函数时，除了风格化相关的内容损失和风格损失，还首次引入了时域损失。时域损失用于约束连续两帧的输出时域一致，两帧像素之间的对应关系通过预计算的光流获得。在训练完毕后，则不再需要计算光流。我们提出的算法在保证视频风格迁移能够实时完成的前提下，大大提升了视频的时域一致性。

机器之心：这种算法的性能表现如何，在数据测试集上可以达到什么样的效果？

腾讯 AI Lab：在提供光流真值的 Sintel 数据集上，相比直接每帧应用图像风格迁移的方法 [ECCV 2016 Johnson et al.]，我们的方法测试误差减小约 27%~44%。在其他没有提供光流真值的数据集上，也可以明显观察到时域一致性提升。

机器之心：您认为这项技术的应用前景如何？如何发挥其潜在的价值？

腾讯 AI Lab：我们的方法除了能应用在视频风格迁移上，也能够推广至其他同类型的视频编辑工作。视频实时迁移功能目前已经在 QQ 手机版本上线运行，算法也将依据未来应用形态变化做进一步调整。

二、关于论文《WSISA: Making Survival Prediction from Whole Slide Histopathological Images》

机器之心：能否具体介绍一下论文提出的生存预测方法 WSISA 是如何基于全尺寸、无标准的病理图片完成预测过程？

腾讯 AI Lab：利用 WSISA 进行病人生存预测总共分为四步：1）大规模随机采样；2）聚类并自动筛选对生存预测有区分性的 cluster；3）进行病人层次的全局特征估计和 4）进行病人层次的生存预测。其中，大规模随机采样是后续流程的基础，聚类并自动筛选有区分性的 cluster 可以替代医生标注的工作，病人层次的全局特征估计克服了传统方法仅关注局部信息的弱点。

机器之心：目前的预测准确率达到什么样的水平？这项技术如何在医疗领域进行应用，可以为分别为医生和患者带来哪些便利？

腾讯 AI Lab：SISA 在两类癌症（肺癌和脑癌）的三个不同数据集上均超越了传统方法，CI 值（Concordance index, 排序一致性）分别平均提升 26%，10% 和 12% 以上。A3: WSISA 的提出不仅可以应用在病人的生存预测上，而且可以应用在其他基于十亿甚至百亿像素级病理图像的诊断预测上（如癌症分级），它极大地减轻了医生的负担，为更加精准的医疗诊断及个性化的治疗方案提供量化指标，从而病人可以得到精准的医疗服务。

三、关于论文《SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning》

机器之心：SCA-CNN 的设计思路什么？这个网络模型解决了图像文本生成的哪些问题？