|
当电影《暮光之城》的女主角 Kristen Stewart 在机器学习论文上作为作者出现时，研究人员都是感到很震惊的。这位 90 后著名影星最近作为联合作者在 arXiv 上（由康奈尔大学运营的在线研究数据库）发表了一篇论文。
Stewart 和其他作者发布的这篇文章主要是涉及「神经风格迁移」，并将其应用到 Stewart 制作并导演的电影短片《Come Swim》中。这部影片是「充满诗意的，直播，心碎人在水下的印象派画像」，它使用风格迁移技术，使电影看上去就好像是画作一样。
「我们通过神经风格迁移（Neural Style Transfer）重新绘制了电影中的关键场景（以手绘风格表现），从而为故事添加上一些艺术手法，这些实现基本上是逐帧转换的，它支撑起了整个电影。」 「绘画本身会激起个人在醒来第一时间的冥思（梦中与现实记忆之间的退却），所以将技术应用到关键场景将令我们想唤起的情绪映射到算法中。」
Stewart 希望利用风格转移技术完成一种新颖和优美的影片，她在论文描述了更多的技术细节，还有电影人如何才能够实现这一点。 风格迁移是一种有趣的技术，涉及使用卷积神经网络来实时地改变视频。要做到这一点，基本上你需要做的就是将你的算法应用到图像上（如梵高的画），然后再训练你的系统学习绘画手法并应用到任何常规图像上。该论文简短有力描述如何通过神经风格转化将印象派带入到所制作的作品 Come Swim 中。 早在论文《A Neural Algorithm of Artistic Style》中，研究者 Gatys、Ecker 和 Bethge 介绍了一种使用深度卷积神经网络（CNN）分类器的方法。其 pastiche 图像是通过优化（optimization）找到的：该算法会寻找一张给出了该 CNN 的底层中同种类型激活（activation）的图像，这些底层会获取风格输入（宽笔触和立体美感等等）的整体粗糙美感；该算法还会在更高层产生激活，这是获取能使对象可被识别出来的东西，这接近于那些由内容图像所得出来的东西。从某个起始点（如：随机噪声或内容图像本身）开始，该 pastiche 会逐渐细化，直到这些要求都得到满足。 另外在十月份谷歌《A Learned Representation For Artistic Style》论文中，研究者们探讨了如何构建单个、可延展深度网络，能够贪婪地捕捉不同派别的艺术风格。 李飞飞十月份也作为《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》的作者讨论过风格迁移。她们的系统在训练之后，前馈网络能以比 Gatys 等人提出的基于优化的方法（optimization-based method）快数百倍的速度为图像改变风格。 论文：《Bringing Impressionism to Life with Neural Style Transfer in Come Swim》
摘要：神经风格迁移是近期开发出的先进技术，它使用神经网络艺术性的重绘（redraw) 原图像的风格。本论文探索了在制作环境中的技术应用，使用神经风格迁移用印象派绘画风格重绘电影短片《Come Swim》中的关键场景。我们记录了该技术如何在交互式的创造流程框架中进行部署，从而能获得想要的效果，也提出了一种将广阔的参数空间映射到创造性控制的关键设定的方式。我们希望这种映射方式能为未来的研究提供启发。 ©本文由机器之心原创，转载请联系本公众号获得授权。 ?------------------------------------------------ 加入机器之心（全职记者/实习生）：[email protected] 投稿或寻求报道：[email protected] 广告&商务合作：[email protected] (责任编辑：本港台直播) |
