注：本文译自AI is getting smarter; Microsoft researchers want to ensure it’s also getting more accurate(https://www.microsoft.com/en-us/research/blog/ai-getting-smarter-microsoft-researchers-ensure-ai-accuracy/ 点击文末的阅读原文或复制网址至浏览器中打开即可查看)

马里兰大学计算语言学和信息处理实验室计算机科学助理教授Marine Carpuat与语言学教授Philip Resnik

就在10年前，利用技术手段实现自动对话翻译、图像识别、甚至是计算机看图说话之类的想法似乎还只是在实验室里的有趣科研项目，远非人们日常生活中的务实应用。

而近年来人工智能技术的进步改变了人们的想法。眼下，越来越多的人开始依赖于使用机器学习等技术构建的系统。这一切变化引起了人工智能研究人员的新思考：如何确保众多此类系统的根基——算法、训练数据乃至测试工具系统——做到精确，并且尽可能无偏差。

微软自适应系统和交互组（adaptivesystems and interaction group）研究员Ece Kamar说，研究人员和开发人员的动力来自于他们意识到尽管系统本身并不完美，但已经有许多人会把重要的任务交托给它们。“这就是为什么我们必须要搞清楚，系统究竟会在哪里犯错误，”Kamar说。

微软自适应系统和交互组研究员 Ece Kamar

上周在旧金山开幕的AAAI人工智能会议上，Kamar和微软的其他研究人员将发表两篇研究论文，它们旨在综合运用算法和人类专业知识，消除数据缺陷和系统缺陷。另外，另一组微软研究人员团队即将发表一个语料库，它可以帮助从事语音翻译研究人员测试其双语会话系统的准确性和有效性。

　　语料库Microsoft Speech Language Translation (MSLT) Corpus，下载链接https://www.microsoft.com/en-us/download/details.aspx?id=54689

　　支撑人工智能的底层数据

开发人员在借助机器学习创建工具时，他们通常会依赖所谓的“训练数据”来训练系统执行特定任务。例如，为了教会系统识别各类动物，开发人员可以向系统展示诸多动物的图片，由此训练它们分辨猫和狗等物种之间的差异。

理论上，人们可以向系统展示它此前从未见过的狗猫图片，而系统应仍能够准确地对它们进行分类。但是，Kamar解释道，训练数据系统自身有时会存在一些所谓的盲点，而这将导致错误的结果。假设我们仅用白猫和黑狗的图片对系统加以训练，那么此后向系统展示一张白狗的图片时，它就有可能产生错误关联，并将白狗误认作猫。

出现这些问题的一部分原因在于许多研究人员和开发人员所使用的训练数据集并非专门设计用于学习其手头的特定任务的。原因很简单，已有的存档动物图片等现成的数据要比另起炉灶构建新数据集来的更快、更便宜——但是，反复检查这些数据的安全性则变得更加重要。

“如果没有这些举措，我们就不会明白出现了什么样的偏差，”Kamar说。Kamar及其同事在他们的研究论文——Identifying Unknown Unknowns in the Open World: Representations and Policies for Guided Exploration中介绍了一种新算法，该算法可用于识别预测模型中的盲点，帮助开发人员和研究人员修复这些问题。虽然这现在还只是一个研究项目，但Kamar他们希望它最终可以发展成为开发人员和研究人员用于识别盲点的实用工具。“任何与机器学习相关的企业或学术机构都会需要这些工具，”Kamar说。

Kamar及其同事在AAAI会议上发表的另一篇研究论文（On Human Intellect and Machine Failures: Troubleshooting IntegrativeMachine Learning Systems）则希望帮助研究人员弄清楚一个复杂的人工智能系统中各种不同类型的错误将如何导致不正确的结果。由于人工智能系统所执行的任务越来越复杂，所依赖的多个组件之间也会相互纠缠，因此对它们进行解析的难度可谓出人意料。假设一个自动图片说明编写工具将泰迪熊图片描述成了搅拌机。你可能会认为问题出在被训练用于识别图片的组件上，但最后却发现真正的问题出现在设计用于编写说明的组件上。为此，Kamar和同事设计了一种方法，为研究人员提供指导，帮助他们通过模拟各种修复方案来找出问题根源，从而解决这些问题。