编者按：AI在很多方面都表现出了与人类相匹敌甚至超越人类的能力。但是AI如何实现这种能力却是一个谜题。随着神经网络和深度学习在科学领域的应用越来越多，AI的黑箱性质已经愈发引起技术专家、科学家以及伦理学家的担心。于是一批AI专家开始把研究目标对准了AI自己，他们利用各种办法试图提高AI执行的透明度，从而形成了一种新兴的AI学科——AI神经科学。《科学》杂志的这篇文章为我们介绍了这些AI侦探是如何破解黑箱的。

加州旧金山，Uber总部，Jason Yosinski正坐在一个小小的玻璃箱里面，揣摩着一个人工智能的思想。身为Uber研究科学家的Yosinski正在对运行在他的笔记本上的AI进行某种脑科手术。就像众多很久快将对现代生活的方方面面提供动力的AI（包括Uber的无人车）一样， Yosinski的程序用的也是深度神经网络，其架构灵感也部分源自大脑。就像大脑一样，该程序外部是很难理解的：它是个黑箱。

这个特别的AI已经用海量的标签图像进行了训练，使得它可以识别诸如斑马、消防车、安全带等随机对象。那它能不能认出在摄像头前面驻足的Yosinski和记者呢？Yosinski放大了这个AI其中的一个独立的计算节点，或者说神经元，好看看是什么促使它响应。两个幽灵式的白色椭圆形弹了出来悬浮在屏幕上。似乎这个神经元已经学会了检测脸部的轮廓。他说：“这个对你我的脸做出响应。它会对不同尺寸不同肤色的脸做出响应。”

没人教过这个网络识别人脸的本领。在它的训练图像中人类并没有被打上标签。但它还是学会了去了解人脸，直播，也是是作为识别伴随着人脸出现的东西，如领带、牛仔帽之类的手段。该神经网络对人类来说实在是太复杂了，所以无法理解其确切决定。Yosinski的调查发现了其中的一小部分，但整体而言，它仍然是晦涩难懂的。他说：“我们建立了令人惊讶的模型，但我们还不是很理解它们。而且这种理解鸿沟每一年都在与日俱增。”

深度神经网络，或者用行话来说，深度学习，似乎每个月都把触角延伸到类型的科学学科。它们可以预测合成有机分子的最佳方式。它们可以检测与自闭症相关的基因。它们甚至可以改变科学本身的进行方式。但凡去做的事情AI往往都成功了。但它们也给以解释作为事业基础的科学家出了一个纠结的难题：为什么？为什么要这样建模？

这个解释问题正在刺激着产业界和学术界新一代的研究者。就像显微镜揭示了细胞一样，这些研究人员正在设计工具来洞悉神经网络是如何做出决策的。一些工具是在没有渗透进AI的进行下进行调查的；一些属于与神经网络竞争的替代算法，但透明度更高；而有的则采用甚至更多的深度学习来探究黑箱。这些凑成一个新学科。Yosinski称之为“AI神经科学”。

打开黑箱

近似模仿人类大脑的深度神经网络正在促进科学的创新。但这种模型的机制却很神秘：它们是黑箱。科学家现在正在开发工具来进入这种机器的大脑。

西雅图华盛顿大学的研究生Marco Ribeiro力争理解这种黑箱，他的手段是一类叫做反事实调查的AI神经科学工具。其想法是改变AI的输入——不管是文字、图像还是任何其他东西——然后用聪明的方式看看哪些变化会影响输出，以及是如何影响的。比方说读取电影评论然后对其中积极的打上标记的神经网络。Ribeiro的程序叫做Local Interpretable Model-Agnostic Explanations （LIME），它会把标记为积极的评论取出来，然后通过删除或者替换文字来做出微妙的变化。这些变化然后再被放到这个黑箱里面跑，看看它还会不会认为这些评论是积极的。在数千次测试的基础上，LIME可以识别出哪些单词，或者哪些图像或分子结构或者任何类型的数据的组成部分对AI原先判断最重要。测试可能会发现“恐怖”这个词对于摇镜头极其重要，或者“Daniel Day Lewis”会导致对影片的积极评价。但尽管LIME能够诊断那些个体的例子，在对网络的整体洞察方面这一结果却揭示不了什么。

像LIME这样新的反事实方法似乎每个月都会涌现。但Google的另一位计算机科学家Mukund Sundararajan却构思了一种不需要对神经网络进行上千次测试的调查法：如果你想要理解很多而不是一些决策的话，那这种方法就是一种福利了。Sundararajan和他的团队不是随机地对输入做出变化，而是引入了空白对比——一张空白的图片或者用归零数组替代文字——然后把它一步步地过渡到被测试的例子。通过每一步执行，他们观察神经网络的跳跃情况，并利用这种跳转轨迹推断出对预测重要的特性是什么。