本文介绍了一种基于多维度的对话级度量方法，由三个子度量组成，对每个子度量使用新颖的自监督方法进行训练，通过指标组合和多任务学习的方式，综合度量显著优于单一子度量。

Oct, 2022

本文提出了基于分布式句子表示的可解释计算指标，用于评估开放领域对话系统的主题、话题的连贯性，减少了人工判断实验的时间成本和不可伸缩性，并结合先进的蕴含技术，介绍了可计算的人工判断形式，实现了对大规模数据集上对话质量的无偏估计。

Apr, 2019

本文介绍了 FED 度量（对话的细粒度评估），该度量使用 DialoGPT，不需要微调或监督，以及 FED 数据集，称为人机和人人对话的十八个细粒度对话质量的注释构成。FED 度量不依赖于真实回答，不需要训练数据，并且在回合和整个对话水平上测量细粒度对话质量。FED 在两个级别上与人类判断具有中度到强度的相关性。

Jun, 2020

我们提出了一种基于多指标评价和相关性重刻的开放领域对话评价方法，其可以全面评估对话质量，且在 DSTC10 track5 subtask1 Automatic Open-domain Dialogue Evaluation Challenge 中表现出极高的有效性。

Jun, 2022

这篇论文对 23 种不同的自动评估度量在 10 个不同的数据集上进行了评估，并在不同的设置中对其进行了评估，从而更好地确定它们各自的优缺点。综合评估提供了关于对话评估指标的几个认识，为未来的研究提供了有用的指导。

Jun, 2021

本文提出一种适用于任务导向型对话系统的模型，利用知识库和对话的依存关系图结构信息解决了如何有效地将外部知识库整合到学习框架中以及如何准确捕捉对话历史语义的挑战。此外，该模型采用多跳推理能力以及循环单元架构进行表示学习。实验结果表明，该模型在两个不同的任务导向型对话数据集上均优于现有模型。

Oct, 2020

本文提出神经网络和自动评估方法在对话系统中的应用，特别关注 DSTC11 的自动评估度量标准和结果。

Jun, 2023

通过对三类自动评估方法的系统比较，本文认为基于学习的指标是评估开放领域生成对话系统最有效的方法。为了解决由于负采样机制导致的数据集不平衡和低质问题，本文提出了一种新的基于学习的评估指标 PONE，并经过实验证明，在使用增强的正样本和有价值的负样本后，可以显著提高与人类判断的相关性，平均相关性提高达 13.18％。

Apr, 2020

提出了一种新方法 QuantiDCE 来训练可量化的对话连贯性评估度量，该方法通过多级排名（MLR）预训练和知识蒸馏（KD）微调两个阶段训练模型并使用少量人工注释数据来进一步微调模型，实验结果表明，该模型与人类判断之间的相关性比其他最先进的度量标准更强。

Jun, 2021

本研究提出了一种新的基于 GRUEN 模型的评估语法、无冗余、焦点、结构和连贯性等语言生成质量的自动评估指标。该指标不需要人工参考，具有无监督，确定性和适应性等优点，并通过实验验证了与人类评判高度相关的结果。

Oct, 2020