ACLNov, 2022

面向对话系统实用自动评估的双分图对话收集

PDF
TL;DR本文介绍一种基于双分图的自动化对话系统评估方法，用于比较不公开系统，避免欺诈，并通过实验结果验证该方法与人的主观评价的相关性。
发现论文，激发创造
  • ACUTE-EVAL: 优化问题和多轮比较的对话评估改进

    本研究提出一个基于自我对话模型的评价过程，旨在寻找一种在不同注释人员之间具有更强鲁棒性的评级测试方案。经过实验证明，在这种方案下，我们可以在更快、更便宜的情况下推出新的测试标准并发布开源代码。

    Sep, 2019

  • 走向统一的对话系统评估：对当前评估协议的全面分析

    本文针对对话系统中的评估协议不统一的问题，综合研究了人工评估和自动评估方法，建议建立更加健壮和统一的评估协议，并对目前使用的自动、静态和交互式评估方法进行分析，最终通过与 Alexa Prize 2020 中的系统 - 用户对话数据进行比较，提出最有效的评估维度。

    Jun, 2020

  • 使用自我对战近似交互式人类评估的开放域对话系统

    本文提出一种交互式的人工评估对话质量的方法，并介绍了一种基于自我对话的度量方式，该方式可以更好地捕捉对话模型的质量，同时使用了情感和语义连贯性等维度。通过对多个模型的实验比较，研究表明，这种度量方式优于目前已知的所有自动化方法，同时也优于静态会话的人工评估。最后，开放性地共享出研究基于交互式评估所构建的数据集和平台以供其它研究者使用。

    Jun, 2019

  • 迈向自动图灵测试：学习对话响应评估

    提出 ADEM 模型用于对话质量的学习式自动评估，其比基于词汇重叠的 BLEU 更能与人类评估相匹配，同时具有泛化评估不同模型的能力。

    Aug, 2017

  • 实现对开放域对话系统的可靠人工评估

    本文提出了一种可靠且低成本的人类评估方法，以取代已被证明不可靠的自动评估方法，比较了与无人设定的系统相比，使用人设定对话主题的对话系统在对话质量上没有积极的贡献。

    Mar, 2022

  • 对话系统评估方法调查

    本文介绍了对话系统的主要概念，分类和开发过程中的评估方法，其中包括人类评估和问卷调查。为了减少人力投入，我们介绍了各种对话系统的评估方法，覆盖了任务导向、交互式和问答式对话系统，并介绍了其关键技术。

    May, 2019

  • PairEval：使用配对比较进行开放域对话评价

    提出了一种基于对话响应之间的比较评估的对话评估度量方法 PairEval，该度量方法比基准度量方法更具鲁棒性，并且与人类判断的相关性更高。

    Apr, 2024

  • 通过人工多重参考研究开放式对话系统的评估

    本文旨在通过多参考评估减少开放领域对话系统的自动评估的缺点，研究结果表明，使用多参考评估可以提高几种自动指标与人类判断之间的相关性，无论是对于系统输出的质量还是多样性。

    Jul, 2019

  • 自动对话系统评估：一种无模型离线策略评估方法

    提出了一种名为 ENIGMA 的自动对话系统评估框架，该框架基于策略评估的最新进展，并且相较于现有的自动评估方法有更强的人类评估得分相关性。

    Feb, 2021

  • 引发平衡协作的对话游戏

    合作是人类对话的重要组成部分。本研究介绍了一种在线的二人 2D 物体放置游戏，促进均衡的合作，通过协商目标状态实现自然的角色扮演和任务表现的提升。同时，引入基于 LLM 的基准代理程序，探讨了人工系统面临的挑战。

    Jun, 2024