ACLJun, 2021

量化对话连贯性评价

PDF
TL;DR提出了一种新方法 QuantiDCE 来训练可量化的对话连贯性评估度量，该方法通过多级排名（MLR）预训练和知识蒸馏（KD）微调两个阶段训练模型并使用少量人工注释数据来进一步微调模型，实验结果表明，该模型与人类判断之间的相关性比其他最先进的度量标准更强。
dialogue coherencequantifiableevaluationmlr pre-trainingknowledge distillation
发现论文，激发创造
  • 利用蕴涵关系评估对话系统中的一致性

    本文提出了基于分布式句子表示的可解释计算指标，用于评估开放领域对话系统的主题、话题的连贯性，减少了人工判断实验的时间成本和不可伸缩性，并结合先进的蕴含技术，介绍了可计算的人工判断形式，实现了对大规模数据集上对话质量的无偏估计。

    Apr, 2019

  • FineD-Eval: 细颗粒自动对话级别评估

    本文介绍了一种基于多维度的对话级度量方法，由三个子度量组成，对每个子度量使用新颖的自监督方法进行训练，通过指标组合和多任务学习的方式，综合度量显著优于单一子度量。

    Oct, 2022

  • 使用基于 AMR 的语义操作进行对话连贯性评估

    提出使用抽象含义表示 (AMR) 进行语义级别操纵的对话连贯性评价标准 (DEAM)，在多个对话数据集上，DEAM 与人类判断的相关性高于基准方法，且能够区分基准操纵生成的连贯和不连贯的对话，DEAM 具有语义级别的操纵和自然的负样本生成潜力。

    Mar, 2022

  • GRADE：用于评估开放域对话系统的自动图形增强相关性度量

    本论文提出了一种新的评估指标 GRADE，通过考虑话题转移的动态和话题层面的图形表示，结合粗粒度的话语层面的上下文表示来评估对话的连贯性，从而较好地衡量了各种对话模型的性能并提高了人机相关度。

    Oct, 2020

  • 朝向更准确、更具普适性的任务驱动式对话评测指标

    通过使用 Dialog Quality Annotation（DQA）工作流程，对整个对话进行评估和标注，我们展示出使用有监督的模型进行对话质量估计的效果较纯粹基于整合对话层次特征的方法更好，同时建议使用高质量的人工注释数据是评估大型工业规模语音助手平台交互质量的重要组成部分。

    Jun, 2023

  • 没有明确对话行为标签的对话连贯性评估

    本文提出了一种利用对话行为预测进行多任务学习的新方法，用于对话连贯性评估，并消除了对显式对话行为标签的需求，有效解决了以往研究领域中语义限制有限以及性能强烈依赖于输入对话行为标签等问题。

    Aug, 2019

  • 面向目标导向对话系统的量化对话语言模型

    使用基于簇的语言模型方法解决面向目标对话系统中的对话学习问题，在 DSTC6 挑战赛中应用于餐厅预订系统；结果表明，该技术在选择正确候选话语方面达到了高准确性，并且优于基于神经网络的其他现有方法。

    Dec, 2018

  • DCR - 一致性：大规模语言模型的划分 - 征服 - 推理的一致性评估和改进

    提出了 DCR（一种自动化评估框架）以评估和改善大型语言模型生成的文本一致性，通过使用分而治之的方法，将段落到段落之间的比对转化为句子到段落的比对，并引入了自动度量转换器以翻译结果为可解释的数值分数。该方法在评估一致性方面表现出色，还能显著减少近 90% 的输出不一致性，并有望有效减少虚假信息。

    Jan, 2024

  • $Q^{2}$：通过问题生成和问题回答评估基于知识的对话中的事实一致性

    本研究提出了一种用于对话中基于知识的生成模型的事实一致性评估度量，通过结合自动问题生成和问题回答，使用自然语言推理进行回答跨度比较。在 Wizard-of-Wikipedia 数据集上，我们得到了经过人工标注的对话系统输出数据集，并对 $Q^2$ 和其他度量标准进行了彻底的元评估，结果显示它与人类判断具有更高的相关性。

    Apr, 2021

  • 文档级神经机器翻译的话语衔接评估

    该研究提出了一种文档的连贯性评估方法（DCoEM），在考虑了四种连贯方式（参考，连词，替换和词汇连贯）的情况下，为测量文档翻译的连贯性做出贡献，并通过最近的文档级 NMT 系统的评估结果表明我们的方法在评估文档级翻译方面是实用和必要的。

    Aug, 2022