● 论文Identifying Unknown Unknowns in the Open World: Representations and Policies for Guided Exploration下载链接：https://www.microsoft.com/en-us/research/publication/identifying-unknown-unknowns-open-world-representations-policies-guided-exploration/

　　●论文On Human Intellect and Machine Failures: Troubleshooting Integrative Machine Learning Systems，下载链接：https://www.microsoft.com/en-us/research/publication/human-intellect-machine-failures-troubleshooting-integrative-machine-learning-systems/

　　“人机共生”（human in the loop）

Kamar表示，在从事包括上述项目在内的各种研究的过程中，她都受到了自己曾参与的项目的强烈影响。该项目在斯坦福大学展开，由Horvitz夫妇赞助，其目的在于探索未来100年间人工智能将如何影响人类。它的主要内容是分析和预测人工智能对人类的影响，从国家安全到公众心理以及个人隐私等等，几乎涉及了生活、工作中的各个方面。

Kamar说，她从这项工作中获得的教益之一，就是明白了确保研究人员深入参与系统开发、验证和故障排除全过程的重要性——研究人员称之为“人机共生”（human in the loop）。这有助于确保我们所创建的人工智能将可以增强人类能力并以实际行动反映人们的意志。

　　测试对话翻译的准确性

开发人员和学术研究人员创建语音识别等系统时，他们可以利用被广泛认可的方法来测试其准确性：诸如Swtichboard和CALLHOME之类的对话数据集。

但是，Microsoft Translator团队的高级项目经理Christian Federmann指出，可用于检测双语对话语音翻译系统，如和Skype Translator实时语音翻译技术的标准化数据集并没有那么多。

所以他和同事们决定创建一个。

高级项目经理 Christian Federmann

微软口语翻译语料库（Microsoft Speech Language Translation (MSLT) Corpus）已于上周公开发布，并可供任何人使用。它允许研究人员对照一套包含法语、德语和英语的多回合双语会话数据集，衡量其自有会话翻译系统的质量和有效性。

　　微软口语翻译语料库Microsoft Speech Language Translation (MSLT) Corpus下载链接：https://www.microsoft.com/en-us/download/details.aspx?id=54689

该语料库由微软聘请的会说两种语言的朗读者制作而成，旨在创建一套标准来帮助人们测试其各自对话语音翻译系统的运行效果。“你需要高质量数据才能进行高质量测试，j2直播，”Federmann说。事实上，对话语音和双语翻译相结合的数据集至今仍然如凤毛麟角。

马里兰大学计算机助理教授Marine Carpuat从事的是自然语言处理研究，她说自己想测试对话翻译算法的运行效果时，经常不得不依赖于可免费获取的数据，例如欧盟文件的官方翻译等。

这些翻译资料原本并非用于测试对话翻译系统，而且它们也未必能反映出人们在实际生活中更为随意和自发的互相交谈方式，她解释道。这样，她就很难了解当人们希望翻译常规对话时——特别是伴随着各种停顿、迟疑语和口头禅时，她的翻译算法是否仍然适用。

Carpuat是这套语料库的早期试用者之一，她说语料库有“立竿见影”之效。“这样我就可以亲自检测，看看一套已知非常适用于正规文档数据的系统在尝试处理口语对话时会发生什么情况，”她说。

微软团队希望这套免费提供的语料库能够惠及整个对话翻译研究领域，atv，并帮助创建更加标准化的尺度，借助它，研究人员就可以把自己的研究成果与他人的研究技术进行对比。

Microsoft Translator团队首席技术项目经理Will Lewis也是本项目的参与者，他认为：“这将有助于推进整个领域的发展。”

首席技术项目经理 Will Lewis

　　你也许还想看：

　　感谢你关注“微软研究院AI头条”，我们期待你的留言和投稿，共建交流平台。来稿请寄：[email protected]。

　　微软小冰进驻微软研究院微信啦！快去主页和她聊聊天吧。