在对话模型中，意图结构在话语的连贯性建模中起着关键作用。本文提出通过增强原始实体方格建模对话文档表示，实现对话中意图结构的建模，并在连贯性评估的两项标准任务方面对三个不同对话数据集的性能都优于原始实体方格表征，验证了意图在对话连贯性建模中的关键作用。

Jun, 2018

本文介绍了三种增强现有编码器-解码器模型的方法，以有效地模拟连贯性并促进输出多样性，它们在OpenSubtitles语料库上的实验表明，与竞争神经模型相比，在BLEU分数以及连贯性和多样性度量方面均有极大改善。

Sep, 2018

本文提出了基于分布式句子表示的可解释计算指标，用于评估开放领域对话系统的主题、话题的连贯性，减少了人工判断实验的时间成本和不可伸缩性，并结合先进的蕴含技术，介绍了可计算的人工判断形式，实现了对大规模数据集上对话质量的无偏估计。

Apr, 2019

本文提出了一种利用对话行为预测进行多任务学习的新方法，用于对话连贯性评估，并消除了对显式对话行为标签的需求，有效解决了以往研究领域中语义限制有限以及性能强烈依赖于输入对话行为标签等问题。

Aug, 2019

本文研究了开放领域对话中人类感知的连贯性问题。我们创建了SWBD-Coh语料库，并通过统计分析和不同架构的实验来评估模型的性能，发现模型结合对话行为和实体信息时可以实现最佳性能。

Jun, 2020

本论文提出了一种新的评估指标GRADE，通过考虑话题转移的动态和话题层面的图形表示，结合粗粒度的话语层面的上下文表示来评估对话的连贯性，从而较好地衡量了各种对话模型的性能并提高了人机相关度。

Oct, 2020

提出了一种新方法QuantiDCE来训练可量化的对话连贯性评估度量，该方法通过多级排名（MLR）预训练和知识蒸馏（KD）微调两个阶段训练模型并使用少量人工注释数据来进一步微调模型，实验结果表明，该模型与人类判断之间的相关性比其他最先进的度量标准更强。

Jun, 2021

提出使用抽象含义表示(AMR)进行语义级别操纵的对话连贯性评价标准(DEAM)，在多个对话数据集上，DEAM与人类判断的相关性高于基准方法，且能够区分基准操纵生成的连贯和不连贯的对话，DEAM具有语义级别的操纵和自然的负样本生成潜力。

Mar, 2022

使用预训练语言模型和高质量标注的对话数据，最近关于开放域对话评估的无参考学习测量的进展主要集中在英文对话上，对这些测量指标在其他语言上的泛化性还没有得到充分研究。因此，为了解决这个问题，我们引入了一个基于英文对话评估数据集的xDial-Eval来进行多语言对话评估基准测试，并建立了自监督和多语言基线模型。与OpenAI的ChatGPT相比，最好的基线模型在所有数据集和语言上的平均Pearson相关系数分别提升了6.5%和4.6%，同时具有更少的参数。

Oct, 2023

本研究针对第二语言对话评估中的缺口，开发了CNIMA框架，并引入一个包含10K对话的中文作为第二语言标注数据集。通过验证该框架的可转移性，发现其在不同语言间具有鲁棒性，并揭示了微观特征与宏观互动标签间的普遍及语言特定关系，同时提出了自动化评估的方法，显示出强大的性能，为第二语言评估提供了新工具。

Aug, 2024