把决定权交给AI之前，人们要先弄明白它们是怎么“想”的 | 早期实验室

2017-07-07 16:45来源:36氪

原标题：把决定权交给AI之前，人们要先弄明白它们是怎么“想”的 | 早期实验室

编者按：你会放心地坐上一辆采用自动驾驶技术的汽车，j2直播，并且一上车就闭上眼睛呼呼大睡吗？目前我们不建议你这么做——至少，在我们搞明白AI是怎么进行判断、怎么做出决策之前。有些时候，AI把注意力投放在了一些不包含关键信息的区域上，而忽略了其他重要的内容，却又碰巧能够得到正确的结果。人工智能专家为了避免这种情况，专门对AI的运算过程进行了观测，在AI的观测区域不准确时优化算法。New Scientist 在题为“Peering inside an AI’s brain will help us trust its decisions”的文章中对此进行了报道。

嘿，AI，请问你觉得你在看什么？

随着无人驾驶技术的出现，理解为什么机器学习算法有时候会出毛病、看到“不存在的东西”也变得越来越重要。现在，我们可以通过一个测试来解读机器的思维，这种测试能够揭示人工智能正在观察图像的哪个部分。

人工智能能够像人类那样做出决定。比方说，即使是最好的图像识别算法，也可能在一张只有白噪音的图像中看到一只知更鸟或猎豹。

这是一个大问题，布朗大学的Chris Grimm。他说，如果我们搞不明白为什么这些系统会犯愚蠢的错误，那么我们应该在把无人驾驶汽车的决策权托付给AI之前好好改进一下AI。

因此，Grimm和他的同事们创建了一个人工智能分析系统，这个系统可以显示AI决定关注图像的哪一部分。类似地，对于文档分类的算法机制，这个系统能够突出显示该算法是根据哪些关键词来决定某个特定文档属于哪个类别的。

窥探AI的大脑运行

谷歌的研究人员Dumitru Erhan说，能够了解人工智能是如何学习的，这一点非常有用。他说，Grimm的工具为人类提供了一种方便的方式，让人去检查一种算法是否“以正确的理由给出正确的答案”——也就是说，仅仅有正确的结果是不够的。

为了创建“定位注意力区域”工具，Grimm在他想要测试的AI上安装了第二个AI。这个“AI包装器”能够用白噪声图像替换原有图像的一部分，并观测这是否对被测试AI的决定产生影响。

如果替换部分图像会导致AI改变决策，那么被替换的区域很可能是决策的重要依据。这同样适用于语言。如果在文档中更改一个单词会使得AI对文档进行不同的分类，那么它就表明这个词对人工智能所做出的决定是至关重要的。

Grimm对一个能够将图像分类到10个类别的AI进行了测试，分类包括飞机、鸟类、鹿和马。他的系统展现出了人工智能在进行分类时所关注的位置。结果表明，人工智能已经学会了将物体分解成不同的元素，然后在图像中搜索每一个元素来最终做出它的决定。

AI怎样判断一匹马的头

Grimm的分析显示，当看到马的图像时，人工智能首先对腿进行了密切关注，然后在图像上搜索了它的头可能处在哪个位置——因为这匹马可能会用不同的姿势站立。在识别一头鹿的时候，人工智能也采取了类似的方法，不过这回它专门搜索鹿角。人工智能几乎完全忽略了图像的特定部分——这些部分通常不包含任何有助于分类的信息。

Grimm和他的同事们也分析了AI是如何玩电子游戏Pong的（编者注：这是一款经典的益智过关游戏，也是世界公认的电子游戏鼻祖，一度风靡全世界）。他们发现，AI忽略了屏幕的绝大部分区域，另一方面，atv，他们密切关注着“球拍”附近的区域。人工智能对一些区域不加注意甚至使它在球拍大幅偏离了预期的位置时，把球当作球拍来处理。够傻吧？

Grimm认为，他的工具可以帮助人们搞懂AI怎么做的决定。例如，它可以用来测试一个在肺部扫描中检测癌细胞的算法，确保它们不会在观察错误图像区域的情况下“意外”地找到正确的答案。“你可以看到，它是否注意到了正确的东西。“

但Grimm首先想用他的工具来帮助AI进行深度学习。当人工智能没有注意到那些本该成为关注点的区域的时候，它会让程序员把AI的注意力引导到关键信息上。