使用基于话题的度量标准来评估对话质量，包括考虑对话机器人在话题上维持连贯和有吸引力的对话能力及其多样性，并采用深度平均网络和话题分类器检测每个话语的对话话题，进一步引入话题关注表以捕捉话语中的话题关键字以及执行话题分类。经过与用户提供的评分进行比较，研究表明这些度量标准既与人类判断相关又补充人类判断，并且在亚历山大奖竞赛中对数万个真实人 - 机器人对话进行分析，凸显出用户对话机器人的期望。

Jan, 2018

提出了一种利用 GPT 模型进行对话系统评估的新框架，通过对模型进行特定条件训练来生成评估指标，采用少量的演示和指导进行提示，可以在自动化评估过程中取得与人类评价高度相关的结果。

Apr, 2023

提出基于心理学，对话系统评估的度量标准，包括情感熵、语言风格和情感匹配度、宜人性和共情等 5 个指标。将这些指标与 6 个最先进的自动评价指标进行比较，并使用三种不同模型（ChatGPT、GPT-3 和 BlenderBot）的对话数据集进行实验，结果表明，所提出的人类度量标准不仅提供了新颖的信息，而且与自动度量标准不相关，并且优于现有的自动度量标准在预测众包对话评价方面的准确性。所提出的基于人类中心的框架具有解释性和独特的信号，是评估和改进对话系统的有价值的工具。

May, 2023

提出了一种名为 BotsTalk 的新框架，其中多个代理参加交谈以自动注释多技能对话，并展示了一个名为 BSBT 的大规模多技能对话数据集，通过广泛的实验表明，我们的数据集对于需要理解技能融合和技能基础的多技能对话系统非常有效。

Oct, 2022

本文介绍面向聊天机器人的查询理解决方案，包括基于层次化意图的请求分类和使用序列生成模型，以及综合性组件的集成，如成人 / 攻击性分类、语法 / 正则表达式、引导性反应和响应生成模型，以解决这一难题。

Nov, 2018

对涉及 Chatbots 的 105 篇人机评估论文进行了全面调查，提出了五个标准评估指标及其精确定义，以解决由多样化评价标准导致的可靠性和可复制性问题。

May, 2021

本文研究了如何有效地评估对话系统的性能，发现人工评估是最好的方法，但人工评估方法的不同会导致不同的数量的人工注释和劳动成本，因此我们比较了五种不同的众包工人评估方法，发现不同的方法适用于不同类型的模型比较，建议在何时采用哪种方法，以及未来的研究方向。

Jan, 2022

本研究针对评估社交情境对话机器人的挑战性任务，提出了一种依赖于多模态用户行为的新型客观评估方法，主要关注评估机器人的人类化程度作为主要评估指标，通过观察用户行为间接评估机器人的人类化程度，提高了客观性和可重复性，并且通过创建一个带有人类化程度得分的标注数据集，运用在一个专注听力对话语料中找到的用户行为进行了相关性分析，证明了我们提出的基于行为的评估方法的可行性。

Aug, 2023

研究了如何检测聊天机器人，提出了一种名为 FLAIR 的框架，使用单次问题和回答来识别在线对话中的聊天机器人。

May, 2023

本文提出了一种基于指导聊天机器人学习人类回应意图的创新框架。使用三个实验设置对其进行了评估并利用四种不同的度量标准评估其灵活性和性能优势。此外，我们还通过人际合作试验证明了指导聊天机器人在一定程度上影响人类回应的有效性。

Mar, 2021