Sundararajan将这种过程与选出他所在的玻璃墙空间的关键特征相提并论——这个地方配备的都是些标准的东西，马克杯、桌子、椅子以及计算机，就像Google的会议室一样。“我可以给出无数个推论。”但比方说你慢慢地调暗了灯光。“等灯光变得很暗时，只有最大的推论最突出。”从空白对比出发的过渡让Sundararajan可以比Ribeiro的变化法捕捉更多的神经网络决策。但更深层次的问题依然无解，Sundararajan说，作为一位父亲这种思想状态他再熟悉不过了：“我4岁的小孩总是不断地提醒我‘为什么？’这个问题的无限递归。”

这种迫切性不仅出自科学。根据欧盟的要求，采用的算法会对公众产生重大影响的公司明年必须对其模型的内部逻辑做出“解释”。美国军方的研究机构The Defense Advanced Research Projects Agency（先进研究项目局）在为一个新计划投入了7000万美元，新计划的名字叫做Explainable AI（可解释的AI），旨在对支撑无人机与情报挖掘行动的深度学习做出解释。Google机器学习研究人员Maya Gupta说，硅谷本身也有打开AI黑箱的驱动力。当她2012年加盟Google时，她询问了AI工程师有什么问题，当时精准度不是他们关注的唯一问题。对方告诉她说：“我不知道AI在干什么。我不知道是不是可以信任它。”

对于这种信任的缺失，微软研究院的计算机科学家Rich Caruana有切身体会。作为1990年代卡内基梅隆大学的研究生，他曾加入一个团队，试图探究是否机器学习可以指导对肺炎病人的治疗。通常来说，把精神充沛的人送回家是最好的，因为这样可以避免在医院里发生二次感染。但一些病人，尤其是患有哮喘等复杂因素的病人，应该马上允许住院。Caruana运用神经网络对78家医院提供的临床与结果数据集进行了分析。看起来似乎工作不错。但令人不安的是，他发现一个基于相同记录训练的更简单、透明的模型却建议把哮喘病人送回家，这说明了数据是有瑕疵的。而他并没有简便的方法来了解他的神经网络是否也得出了同样糟糕的经验。他说：“对神经网络的恐惧完全是合理的。真正令我恐惧的是还有哪些神经网络学到的东西也是错的？”

今天的神经网络比Caruana还是研究生那会儿强多了，但它们的本质是一样的。一头是乱糟糟的一团数据——比方说数百万张狗的图片。这些数据会被吸进有十几甚至更多计算层组成的网络，在这个网络里面，神经元似的连接会“开火”以对输入数据的特征做出响应。每一层会对更加抽象的特征做出反应，使得最后一层能区分出小猎犬与腊肠狗。

一开始的时候这种系统会表现得比较笨拙。但每次结果都会跟打上标签的狗图片进行比较。通过一个名为反向传播的过程，结果会被送回给神经网络，使得它可以对每个神经元的触发器重新赋予权重。这个过程会重复几百万次，直到神经网络知道（但我们不知道它怎么做到的）如何区分不同的狗品种。Caruana说：“”。但这种神秘且灵活的力量正是它们之所以是黑箱的原因。

Gupta对于黑箱采取了不同的策略：回避。几年前，第二职业为复杂实体设计师的Gupta开始了一个叫做GlassBox的项目。她的目标是通过植入可预测性来驯养神经网络。其指导原则是单调性——也就是变量之间这样的一种关系，在其他一切均平等的情况下，一个变量的增加会直接增加另一个，就像一间房子的建筑面积和房子价格的关系一样。

Gupta将这些单调关系嵌入到一个叫做内插值查找表的庞大数据库里面。这些数据库基本上就像你要查找sin 0.5的值时要翻的高中三角学课本背后的那些表。不过她的表不是在一维上有十几个数据项，而是指多维上有几百万个条目。然后她将那些表编排到神经网络里面，这相当于增加了额外的一层可预测的计算层——她说所植入的这些知识最终可以让网络更加可控。

与此同时，Caruana还惦记着肺炎治疗方面的教训。为了开发出一种在准确率上可与深度学习匹敌但可避免不透明性的模型，他向一直跟机器学习及其不协调的方法相处得都不是很好的一个社区——统计学家发出了求助信号。

在1980年代，统计学家开拓了一种新的技术，名字叫做广义相加模型（GAM）。这种技术的基础是线性回归，是一种在一组数据中寻找线性趋势的方法。但通过寻找多种组合起来可以将数据糅合进一条回归线的操作，GAM还可以处理更棘手的关系——比方说，对一组数进行开方，同时对另一组变量求对数。Caruana对这一过程又进行了增强，利用机器学习来发现那些操作——然后再用作一种强大的模式检测模型。他说：“出乎我们意料的是，这种做法在很多问题上都非常精确。”而且关键是，每一种操作对底层数据的影响都是透明的。