据说一个博士生有三个阶段。在第一个阶段，一篇相关论文的引用你大部分都没看过；在第二个阶段，你能认出这些论文；在第三个阶段，你已经与所有论文的第一作者喝过一圈了。

最后的一些想法

尽管我现在找不到出处了，但是我曾听到 YC 的 Sam Altman 说，建立一个创业公司没有捷径可走。你不能指望通过玩弄体制，或者通过伪装来获得长久的胜利。我想在学术领域也是一样的。最终，你的目的是用优秀的研究推动这一领域的进步，如果你试图针对某些指标动手脚，从长远来看你无法成功。在学术界尤其如此，因为学术界令人惊讶地小，并且高度关联，所以，任何你试图在学术履历上用点阴招（例如，常常自己引用自己、将同一想法稍作修改后重复发表、重复提交被退回的论文而没有丝毫修改、为了自己的便利而抛弃一些基本原则，等等）最终将让你尝尽苦果，而你也不会成功。

所以，总而言之就一句话：好好工作、适当交流，人们会注意到你，好事也会发生。祝博士之旅愉快！

论文：连接图像与自然语言（CONNECTING IMAGES AND NATURAL LANGUAGE）

　　导师审核

摘要：人工智能领域的一个长期目标是开发能够感知和理解我们周围丰富的视觉世界，并能使用自然语言与我们进行关于其的交流的代理。由于近些年来计算基础设施、数据收集和算法的发展，人们在这一目标的实现上已经取得了显著的进步。这些进步在视觉识别上尤为迅速——现在计算机已能以可与人类媲美的表现对图像进行分类，甚至在一些情况下超越人类，比如识别狗的品种。但是，尽管有许多激动人心的进展，但大部分视觉识别方面的进步仍然是在给一张图像分配一个或多个离散的标签（如，人、船、键盘等等）方面。

在这篇学位论文中，我们开发了让我们可以将视觉数据领域和自然语言话语领域连接起来的模型和技术，从而让我们可以实现两个领域中元素的互译。具体来说，首先我们引入了一个可以同时将图像和句子嵌入到一个共有的多模态嵌入空间（multi-modal embedding space）中的模型。然后这个空间让我们可以识别描绘了一个任意句子描述的图像，而且反过来我们还可以找出描述任意图像的句子。其次，我们还开发了一个图像描述模型（image captioning model），该模型可以根据输入其的图像直接生成一个句子描述——该描述并不局限于人工编写的有限选择集合。最后，我们描述了一个可以定位和描述图像中所有显著部分的模型。我们的研究表明这个模型还可以反向使用：以任意描述（如：白色网球鞋）作为输入，然后有效地在一个大型的图像集合中定位其所描述的概念。我们认为这些模型、它们内部所使用的技术以及它们可以带来的交互是实现人工智能之路上的一块垫脚石，而且图像和自然语言之间的连接也能带来许多实用的益处和马上就有价值的应用。

从建模的角度来看，我们的贡献不在于设计和展现了能以复杂的处理流程处理图像和句子的明确算法，而在于卷积和循环神经网络架构的混合设计，这种设计可以在一个单个网络中将视觉数据和自然语言话语连接起来。因此，图像、句子和关联它们的多模态嵌入结构的计算处理会在优化损失函数的过程中自动涌现，该优化考虑网络在图像及其描述的训练数据集上的参数。这种方法享有许多神经网络的优点，其中包括简单的均质计算的使用，这让其易于在硬件上实现并行；以及强大的性能——由于端到端训练（end-to-end training）可以将这个问题表示成单个优化问题，其中该模型的所有组件都具有一个相同的最终目标。我们的研究表明我们的模型在需要图像和自然语言的联合处理的任务中推进了当前最佳的表现，而且我们可以一种能促进对该网络的预测的可解读视觉检查的方式来设计这一架构。

2016 年是人工智能不断突破的一年。这一年，我们经历了语音识别的突破、风格迁移的兴起、神经机器翻译的进步，等等。而这每一条消息的宣布机器之心都紧紧跟随。于是在岁末年关，机器之心将回顾过去一年中我们曾发布过的爆款文章。流量不代表文章质量，但选出的每一篇文章却代表了机器之心读者的关注点，以及我们自己的价值观。精彩的一年，我们一起见证，一起回顾。

©本文由机器之心编译，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]