Jun, 2024

CausalScore: 用于评估开放领域对话系统中回复相关性的自动无参考度量

PDF
TL;DR自动评估开放领域对话系统中回应的质量是一项具有挑战性但又至关重要的任务。我们提出了一种新颖的度量标准，称为 CausalScore，通过测量对话历史和回应之间的因果关系强度来评估回应的相关性。我们的实验结果表明，CausalScore 在与人类判断的一致性方面显著优于现有的领先指标，此外，我们还收集了一个带有人工注释的因果关系对话数据集 CGDIALOG + 以及一组成对人类判断，以促进未来自动度量标准的发展。
open-domain dialogue systemsevaluation metricscausalscorecausal strengthdialogue dataset cgdialog+
发现论文，激发创造
  • 对开放领域对话系统进行可配置评估指标的解构与重构

    我们提出了一种灵活的度量方法，并通过组合可管理的质量、将质量分成三组，并将每个方面的指标合成为一个指标，得到了名为 USL-H 的度量方法，证明了 USL-H score 与人工评价具有良好的相关性和可配置性。

    Nov, 2020

  • 利用蕴涵关系评估对话系统中的一致性

    本文提出了基于分布式句子表示的可解释计算指标，用于评估开放领域对话系统的主题、话题的连贯性，减少了人工判断实验的时间成本和不可伸缩性，并结合先进的蕴含技术，介绍了可计算的人工判断形式，实现了对大规模数据集上对话质量的无偏估计。

    Apr, 2019

  • GRADE：用于评估开放域对话系统的自动图形增强相关性度量

    本论文提出了一种新的评估指标 GRADE，通过考虑话题转移的动态和话题层面的图形表示，结合粗粒度的话语层面的上下文表示来评估对话的连贯性，从而较好地衡量了各种对话模型的性能并提高了人机相关度。

    Oct, 2020

  • PairEval：使用配对比较进行开放域对话评价

    提出了一种基于对话响应之间的比较评估的对话评估度量方法 PairEval，该度量方法比基准度量方法更具鲁棒性，并且与人类判断的相关性更高。

    Apr, 2024

  • 学习用于在线对话评估的无参考度量

    本文提出了一种基于预训练语言模型从句子中提取潜在表示并利用它们之间的时间关系进行对话质量评估的自动评估度量标准，不需要人工生成参考回复并在推理过程中不需要真实响应。在在线环境中，该模型与人类评注的相关性更高。

    May, 2020

  • QRelScore: 基于上下文感知关联性更好地评估生成的问题

    提出了一种基于上下文的问题生成的相关性评估度量，称为 QRelScore，它使用字级层次匹配和基于句子级提示的生成，能够应对复杂的推理和多个证据的多样化生成，并且与现有度量相比，具有更高的相关性，并且更具鲁棒性。

    Apr, 2022

  • 设计精确和鲁棒的对话响应评估器

    本文提出建立无参考评估器以及利用半监督训练和预训练（掩码）语言模型的方法来改进自动对话响应评估器的性能，实验结果表明所提出的自动评估器与人类判断具有很强的相关性（>0.6）并且能够很好地适应不同的回答和语料库。该研究代码和数据已经开源在指定链接。

    Apr, 2020

  • 对话中的相关性：简单优于复杂的度量标准比较与新度量标准

    评估了现有的对话相关性度量标准，提出了减少数据要求和领域敏感性的改进并在不 fine-tuning 预训练语言模型的情况下，只使用 3750 个未经注释的人类对话和一个负面例子，我们的提议指标实现了 HUMOD dataset 的最新性能，并将数据集敏感性降低了 37％-66％。

    Jun, 2022

  • 使用因果推论模型改进开放领域对话评估

    本文探索了预测针对开放领域对话的专家和用户评分的自动化方法，比较了四种不同的方法，其中提出的 counterfactual-LSTM (CF-LSTM) 模型在对话评分和分类方面的表现最好。

    Jan, 2023

  • 使用语境化的嵌入向开放领域对话系统提供更好的自动评估

    本文探讨使用语境化词向量来计算更为准确的相关性评分，从而得出更好的评估指标，相较于仅训练静态嵌入的 RUBER 指标，新的指标表现更佳。

    Apr, 2019