量子位 报道 | 公众号 QbitAI

假设你开发了一个AI，让它做决策。结果，你可能根本没办法知道这些决策的依据是什么。

这种失去控制力的感觉，想想就不太好。

但是，这是深度学习系统的常态。于是越来越多的人认为，深度学习系统已经成了一个个“黑箱”，只有打开这些黑箱，我们才能放心地把AI用到各个领域。

有一些研究人员，想通过“让AI解释他们自己”的方式来打开黑箱。他们致力于让AI能用人类能看懂的方式解释自己的行为，这被称作“可解释的人工智能”或“XAI”。

看起来很美，但也有反对的声音。

Peter Norvig就对XAI的价值提出了质疑：

连人类自己都不太擅长解释自己的决策，又怎么能要求机器这么做？

△Peter Norvig

Norvig是谷歌研究总监、AI经典教材《人工智能：一种现代的方法》的第二作者、AAAI fellow、ACM fellow。

所谓解释，全是事后编出来的

人类不擅长解释自己的决策？不对啊，每天都上演着各种各样的“你听我解释”呢……

Norvig相信，人类的那些解释，并不是真正的决策原因，而是事后想出来的。

他周四在澳大利亚新南威尔士大学演讲时说：“认知心理学家发现，当你问一个人的时候，你无法获得他真正的决策流程。他们其实是先作出决策，然后当你问他们的时候，他们再想出一套解释方案，但这或许并不是真的决策原因。”

这个事后想出的解释方案，往往是为了让之前的行动显得合理。

Norvig说，如果你要求人工智能用人话解释自己，它们也可能采取这种做法。

“所以，我们对待机器学习的最终态度也可能变成这样：我们训练一套系统得到答案，然后训练另外一套系统作出解释——你的任务是根据第一套系统获得的信息来来解释一下它的做法。”

还真的有人做了这样的研究。

今年年初，乔治亚理工学院的Mark Riedl等人就训练了一个AI，。

不过，负责“解释”的是另一套独立的算法，用人类玩Frogger时说的话训练过。所以，j2直播，这个AI解释出来的“决策过程”，实际上只是根据游戏中遇到的情况，生成了一句人类可能说的话。

加州大学和马克思-普朗克信息学院的研究人员去年12月也发表了一篇论文，用人类的方法解释了一套基于机器学习的图像识别技术。

研究人员表示，尽管“通过获取模型中的隐藏信息”可以支撑这些解释，但它们“未必与系统的运作过程相符”。

UC Irvine(加州大学尔湾分校)的一项研究似乎更实在一点。

在去年发布的论文“Why Should I Trust You?”: Explaining the Predictions of Any Classifier中，研究人员描述了一个名为LIME的系统，这个系统解释自己决策原因的方式，是将输入数据中与决策相关的部分高亮标注出来。

此外，Norvig昨天也补充道：“解释本身还不够，我们还需要通过其他方式来监督决策流程。”

不看解释看结果

Novig表示，要了解人工智能是否存有偏见，更实际的做法不是了解内部原理，而是直接查看输出结果。

“如果我申请一份贷款，但却遭到拒绝，无论决策是人类还是机器做出的，当我想要对方作出解释的时候，对方都会说，你的抵押品不够。这可能是真正的原因，但也有而可能是它不喜欢我的肤色。但我无法通过它的解释知道真相。”他说。

“但如果我看看它在各种不同案例中的决策，便可以判断它存在一些偏见——通过一系列决策便可知道一些无法通过单项决策判断的事情。所以，能够给出解释固然很好，atv，但展开一定程度的核查同样重要。”

谷歌自己的算法也被批存在偏见。例如，曾经有一段时间，在谷歌图片中搜索“手”或“宝宝”，只能显示白人的图片。2015年，该公司的Photos应用甚至将一对黑人夫妇错误地标记成“大猩猩”。

谷歌自动完成功能也涉嫌存在种族歧视和性别歧视。例如，当有人输入“Are jews”（犹太人是）的时候，系统会给出“a race”（一个种族）、“white”（白人）、“Christians”（基督徒）和“evil”（邪恶的）几个选项。

“这些结果不反映谷歌的观点。”谷歌去年12月回应《观察家》（TheObserver）的报道时说，只是“反映了整个网络的内容”。该公司还在回应《悉尼先驱晨报》的一篇类似报道时说：“我们承认自动完成功能不够科学，我们一直在努力改进算法。”

Norvig解释道，想要避免偏见，有一些比调查底层机器学习算法效果更好的方法。