（1）通常我们除了需要自动统计客观的任务完成率（通过匹配预先指定的用户目的和机器输出的结果），还应要求测试用户提供主观感知到的任务完成情况。因为根据以往的研究经验，这两个结果的绝对值会有较大出入[6]；

　　（2）造成主客观任务完成率差异的主要原因是测试用户因为各种原因在陈述需求时并未能准确完整的表达预定义的目的。因此，我们还需要一个检测机制来检验用户陈述的需求和系统输出结果的匹配程度[6]。

　　这里值得一提的是，据我所知唯一一次端到端对话系统的公开评测是 Spoken Dialog Challenge 2010，其选用的主要评估指标就是任务完成率和平均对话轮数。

　　评测一个任务驱动的多轮对话系统，主要涉及评测自然语言理解、对话状态跟踪和对话策略三个部分。自然语言理解是一个典型的分类问题，可以通过准确率、召回率和 F-score 等指标进行评测。对话状态跟踪，作为辅助对话策略的一个中间环节，业界已总结出一系列的评测标准，详情请参考历届 DSTC 公开评测。而对话策略的质量通常需要通过对话系统的整体效果来体现，其主要评测指标是任务完成率和平均对话轮数。

　　参考文献：

　　[1] Z Wang, H Chen, G Wang, H Tian, H Wu & H Wang (2014) Policy Learning for Domain Selection in an Extensible Multi-domain Spoken Dialogue System. In Proceedings of Conference on Empirical Methods on Natural Language Processing (EMNLP 2014) .

　　[2] B Thomson & S Young (2010) Bayesian update of dialogue state: A POMDP framework for spoken dialogue systems. Computer Speech & Language 24 (4) , 562-588 .

　　[3] J Williams, A Raux, D Ramachandran & A Black (2013) The dialog state tracking challenge. In Proceedings of the SIGDIAL 2013 Conference .

　　[4] K Scheffler & S Young (2001) Corpus-based dialogue simulation for automatic strategy learning and evaluation. In Proceedings of NAACL Workshop on Adaptation in Dialogue Systems .

　　[5] A Black, S Burger, A Conkie, H Hastie, S Keizer, O Lemon, N Merigaud, G Parent, G Schubiner, B Thomson, J Williams, K Yu, S Young, & M Eskenazi (2011) Spoken Dialog Challenge 2010 : Comparison of Live and Control Test Results. In Proceedings of the SIGDIAL 2011 Conference .

　　[6] F Jurc?cek, S Keizer, M Ga?ic, F Mairesse, B Thomson, K Yu & S Young (2011) Real user evaluation of spoken dialogue systems using Amazon Mechanical Turk. In Proceedings of INTERSPEECH .

　　相关链接：

　　（1）DIT++主页

　　（2）Dialog State Tracking Challenge（DSTC）:

　　（3）DSTC 2 & 3

　　（4）DSTC 4

　　（5）DSTC 5