本研究针对评估社交情境对话机器人的挑战性任务，提出了一种依赖于多模态用户行为的新型客观评估方法，主要关注评估机器人的人类化程度作为主要评估指标，通过观察用户行为间接评估机器人的人类化程度，提高了客观性和可重复性，并且通过创建一个带有人类化程度得分的标注数据集，运用在一个专注听力对话语料中找到的用户行为进行了相关性分析，证明了我们提出的基于行为的评估方法的可行性。

Aug, 2023

本文介绍了对话系统的主要概念，分类和开发过程中的评估方法，其中包括人类评估和问卷调查。为了减少人力投入，我们介绍了各种对话系统的评估方法，覆盖了任务导向、交互式和问答式对话系统，并介绍了其关键技术。

May, 2019

该研究关注用户反馈在评估面向任务型对话系统时的作用，研究发现用户反馈会影响系统评估结果，对于众包工作者而言，用户反馈对有用性和趣味性的评估更具影响力，而对大型语言模型来说，则更看重趣味性和相关性的评估，用户反馈也有助于提高众包工作者在模糊或复杂用户需求下的一致性，这些发现强调了用户反馈在优化系统评估方面的重要性，并提出了将自动化反馈整合到未来研究中的潜力。

Apr, 2024

对任务导向型对话系统的评估方法进行广泛的综述，着重关注对话系统在实际应用中（例如客户服务）的应用；对以前工作中使用的构造和指标进行了概述；讨论了对话系统评估的挑战，并制定了未来研究议程；通过对四个数据库（ACL、ACM、IEEE 和 Web of Science）的系统综述，总共有 122 项研究进行了仔细分析，发现没有明确报告操作化情况，并希望未来的研究能对使用的构造进行更加批判性的操作化和规范化；最后给出了评估方面的建议和未解决问题的建议。

Dec, 2023

通过分析和研究，本文从交互对话参与者的角度探讨了自动回复评估器所需的功能特征，并通过实验发现交互对话参与者的意识在确保自动回复评估与其判断相关性方面起着关键作用。同时，通过大规模对话数据集的使用，证明了对话连续性预测可以训练出一个具备交互对话参与者意识的自动回复评估器，但相较于人类回复，评估生成回复的困难性也得到了揭示。

Jan, 2024

通过提出用户满意度注释数据集，构建类人用户模拟器来衡量对话质量

May, 2021

本文提出了三种方法，利用情感分析对开放域对话进行自动评估，并在书面和口头对话数据集上胜过现有的自动评估指标。

Nov, 2021

本文探讨在多任务学习设置中，使用主观评估作为语言生成模型训练的一部分，并使用群众创作对话语料库对六种不同的语言生成模型进行微调。评估显示，多任务学习的模型生成的话语在主观上评分最高，且在推动对话发展、无冒犯性等方面得分最高。因此，将来可以研究将主观人类评估纳入语言生成模型训练中，从而在开发过程中更好地与人类用户进行交互。

Apr, 2021

本文介绍了针对多轮会话任务的目标导向对话系统，并开展了各种组件的评估研究，结果表明使用精细化监督训练的分段式对话系统比使用端到端模型训练的系统表现更好，且单轮评估结果并不总能反映对话系统整体表现，在早期开发阶段，使用模拟评估仍然是代价更小的可行选择。

May, 2020

本文提出了一种可靠且低成本的人类评估方法，以取代已被证明不可靠的自动评估方法，比较了与无人设定的系统相比，使用人设定对话主题的对话系统在对话质量上没有积极的贡献。

Mar, 2022