【中国AI实验室项目巡礼】中大HCPLab：基于注意力机制学习的人脸幻构

2017-08-18 13:10 来源:新智元 人工智能 /技术

原标题：【中国AI实验室项目巡礼】中大HCPLab：基于注意力机制学习的人脸幻构

1新智元专栏

作者：曹擎星

【新智元导读】在新智元20万读者大调查的反馈中，不少读者朋友反映希望看到更多关于国内人工智能领域实验室及其研究项目的介绍。我们今天为大家带来的是中山大学人机物智能融合实验室（中大HCPLab）和他们“基于注意力机制学习的人脸幻构”的研究介绍。

我们希望能为读者朋友们介绍一些国内优秀的人工智能领域的实验室和他们的研究项目，今天为大家带来的是中山大学人机物智能融合实验室（中大HCPLab）和他们的“基于注意力机制学习的人脸幻构”研究。

中山大学人机物智能融合实验室介绍

中山大学人机物智能融合实验室()依托于中山大学数据科学与计算机学院，围绕“人工智能原创和前沿技术”布局研究方向与课题，并与产业界开展广泛合作，输出大量原创技术及孵化多个创业团队。

在感知计算与智能学习、机器人与嵌入式系统、人机协同技术、大数据挖掘与分析等领域开展研究，以“攀学术高峰、踏应用实地”为工作理念。实验室目前有教授1名，副教授2名，特聘研究员4名，工程师3名。

中山大学人机物智能融合实验室人员：从左到右依次为——林倞 王青 成慧 张冬雨 李冠彬 陈崇雨 刘中常

其中林倞教授担任商汤集团执行研发总监，是国家优秀青年科学基金获得者，教育部超算工程软件工程研究中心副主任，2017年入选IET Fellow；成慧副教授是中山大学“百人计划”人才引进，分别在香港科技大学和香港大学获得硕士、博士学位；王青副教授获得Google ResearchAward，并曾在麻省理工大学媒体实验室（MIT Media Lab）访问工作。实验室承担或者已完成各级科研项目30余项，共获得科研经费超过数千万元。科研团队迄今在顶级国际学术期刊与会议上发表论文100余篇，包括在IEEE/ACM Trans汇刊发表论文50余篇，在CVPR/ICCV/NIPS/Multimedia/AAAI/IJCAI等顶级会议发表论文40余篇，获得NPAR 2010 BestPaper Award, ACM SIG CHI Best Paper Award Honorable Mention, ICME 2014 BestStudent Paper, The World’s FIRST 10K Best Paper Diamond Award by ICME 2017等奖励。

而在上个月的CVPR 2017计算机视觉顶级年度会议上，林倞教授带领的实验室团队在本次大会共有7篇paper被收录。以下为大家精选一项人脸幻构技术作为分享。

基于注意力机制学习的人脸幻构

低分辨率人脸图像复原，指的是利用一副或者多幅低分辨率的人脸图像恢复出清晰并且高分辨的人脸图像。目前主流的复原方法都是尝试学习低分辨率图像区域到高分辨率图像区域的映射，而没有对不同区域相关关系进行建模。在监控视频等实际应用场景中，人脸分辨率通常很低，这类方法较难以恢复出高分辨率人脸。针对此难点，我们提出了Attention-awareFace Hallucination增强学习模型框架，旨在通过循环地选择并复原低分辨人脸图像上的不同区域来实现低分辨率人脸的超分辨重建。具体来说，策略网络（Policy Network）将基于之前部分复原的人脸图像，选择一个待复原区域；另一个局部增强网络（local enhancementnetwork）将参考之前复原的结果，仅对该区域进行增强。这样的方式使得区域在进行复原时能获得其它已增强区域的信息，从而在整个图像上对区域的关系进行建模。训练模型时，我们同时对策略网络和局部增强网络进行训练。使用强化学习的方法，将全图的PSNR为奖励信号训练策略网络，使用每一步的局部均方误差训练局部增强网络。我们在LFW上进行了实验，结果表明，atv，我们提出的这项算法大大优于当前最好的算法。

图1. 对局部区域进行超分辨率重建时，给出相关高清区域信息将使复原变得更为简单

模型：

下图2是我们Attention-aware Face Hallucination的整体框架示意图：

图2. Attention-aware Face Hallucination的整体框架示意图