美国国防部高级研究计划局DAPRA要探索AI的决策逻辑，人们需要AI“可被解释”

2017-08-15 19:33 来源:36氪 操作系统

原标题：美国国防部高级研究计划局DAPRA要探索AI的决策逻辑，人们需要AI“可被解释”

美国国防部高级研究计划局（DAPRA）的一组研究人员近日发起协作，研究如何更好理解AI得出某项结论时所使用的逻辑。尽管市场对AI的应用前景感到兴奋，但是某些需要就AI结论展开沟通和讨论的领域，直播，例如医疗方案决策，离使用AI可能还有段距离。对AI逻辑更好的理解才能够减少这些领域的疑虑。

DAPRA的这个项目囊括了来自30多所大学和私人机构的100位研究人员，希望生产出“解释性”AI系统；该系统能够将复杂的计算机语言转化成易懂的逻辑，帮助我们了解AI得出结论的路径。项目目标是创造出一组机器学习的工具和用户界面；政府和商业机构可以直接使用它们去解释他们的AI产品是怎么得出某项结论的。

项目负责人David Gunning举例说：当患者被AI建议使用某种特殊的治疗方案、或者你的无人车突然停在了路中间、或者你的无人机在空中飞了一圈但是没有完全设定的任务时，你真的很需要一个解释。

微软研究院也开展了类似的项目，研究AI逻辑过程中令人不安的东西。其总经理Eric Horvitz博士表示，用来教电脑学习的神经网络也可以被用来影响社交网络上的讨论、或者引导人们基于系统中有偏见的程序做出较差的决定。例如，如果司法判决协助工具的底层程序上输入了有偏见的观点，它就会带有偏见地影响量刑判断。

医疗领域，AiCure最近A轮融资1230万美元，利用AI提高用药依从性；Sense.ly开发了虚拟护理助理，Molly专注做患者出院后的跟踪。这些公司的AI产品如果做出了影响患者行为的判断，那么患者很可能需要知道为什么；如果做出了错误的判断，就更加需要为什么。这个时候，AI最好能给出合理的解释，从而提高用户的信任感。

让AI的决策可以被解释，本身是一件有用但盲目的事情。有用在于，所有民主过程，即需要双方沟通达成共识的事件，AI仅仅给出结论是无法辅佐交换想法和说服对方的。当然，对于那些不那么民主的环节，例如推送定制化的广告，对AI逻辑过程的重视远不及对AI结论有效性的关注。

盲目在于，有的时候人们所追求的“合理”可能并不是客观“合理”的；如果只从结果上讲，AI的结论合理就好，开奖，但是从推动讨论上说，不管AI的“合理”是不是我们的“合理”，知道总是好的。