EMNLPOct, 2022

FineD-Eval: 细颗粒自动对话级别评估

PDF
TL;DR本文介绍了一种基于多维度的对话级度量方法，由三个子度量组成，对每个子度量使用新颖的自监督方法进行训练，通过指标组合和多任务学习的方式，综合度量显著优于单一子度量。
dialogue-level metricmulti-dimensionalself-supervised objectivesmetric ensemblemultitask learning
发现论文，激发创造
  • 对话评估指标的全面评估

    这篇论文对 23 种不同的自动评估度量在 10 个不同的数据集上进行了评估，并在不同的设置中对其进行了评估，从而更好地确定它们各自的优缺点。综合评估提供了关于对话评估指标的几个认识，为未来的研究提供了有用的指导。

    Jun, 2021

  • DialoGPT 对话交互的无监督评估

    本文介绍了 FED 度量（对话的细粒度评估），该度量使用 DialoGPT，不需要微调或监督，以及 FED 数据集，称为人机和人人对话的十八个细粒度对话质量的注释构成。FED 度量不依赖于真实回答，不需要训练数据，并且在回合和整个对话水平上测量细粒度对话质量。FED 在两个级别上与人类判断具有中度到强度的相关性。

    Jun, 2020

  • DSTC 11 跟踪器 4：开放域对话系统鲁棒性和多语言自动评估指标综述

    本文提出神经网络和自动评估方法在对话系统中的应用，特别关注 DSTC11 的自动评估度量标准和结果。

    Jun, 2023

  • 学习用于在线对话评估的无参考度量

    本文提出了一种基于预训练语言模型从句子中提取潜在表示并利用它们之间的时间关系进行对话质量评估的自动评估度量标准，不需要人工生成参考回复并在推理过程中不需要真实响应。在在线环境中，该模型与人类评注的相关性更高。

    May, 2020

  • 通过人工多重参考研究开放式对话系统的评估

    本文旨在通过多参考评估减少开放领域对话系统的自动评估的缺点，研究结果表明，使用多参考评估可以提高几种自动指标与人类判断之间的相关性，无论是对于系统输出的质量还是多样性。

    Jul, 2019

  • 评估自然语言生成的任务导向对话中无监督度量的相关性

    本文考察了在 task-oriented 对话回复生成中是否能够使用 Automated metrics 如 BLEU 准确度较高地评估生成结果。研究表明这些自动化评价指标与人类判断在 task-oriented 环境中的相关性较高，更适合适用于提供多个参考数据的数据集。同时，本文倡导更具挑战性的数据集的建构。

    Jun, 2017

  • SelF-Eval: 自监督细粒度对话评估

    本文提出了一个新颖的自监督细粒度对话评估框架 SelF-Eval，该框架的核心思想是建立对话质量和对话中每个交互回合质量之间的相关性模型。采用多级对比学习架构训练 SelF-Eval，并提出一种可自动分配细粒度分数的对话数据构建方法，实验结果表明，SelF-Eval 与人类评价高度一致，优于现有的最先进模型。

    Aug, 2022

  • GRADE：用于评估开放域对话系统的自动图形增强相关性度量

    本论文提出了一种新的评估指标 GRADE，通过考虑话题转移的动态和话题层面的图形表示，结合粗粒度的话语层面的上下文表示来评估对话的连贯性，从而较好地衡量了各种对话模型的性能并提高了人机相关度。

    Oct, 2020

  • 一种适用所有语言的 “统治者”: 基于对抗多任务学习的多语言对话评价

    提出了一种跨语言对话评估的 ADVMT 模型，利用神经网络指标对开放域对话系统的表现进行评估，并在两种不同语言的情况下进行评估，结果显示其与人工评估的相关性高于现有指标。

    May, 2018

  • 朝向更准确、更具普适性的任务驱动式对话评测指标

    通过使用 Dialog Quality Annotation（DQA）工作流程，对整个对话进行评估和标注，我们展示出使用有监督的模型进行对话质量估计的效果较纯粹基于整合对话层次特征的方法更好，同时建议使用高质量的人工注释数据是评估大型工业规模语音助手平台交互质量的重要组成部分。

    Jun, 2023