Jun, 2020

走向统一的对话系统评估：对当前评估协议的全面分析

PDF
TL;DR本文针对对话系统中的评估协议不统一的问题，综合研究了人工评估和自动评估方法，建议建立更加健壮和统一的评估协议，并对目前使用的自动、静态和交互式评估方法进行分析，最终通过与 Alexa Prize 2020 中的系统 - 用户对话数据进行比较，提出最有效的评估维度。
conversational aidialogue managementevaluation protocolautomated evaluationinteractive evaluation
发现论文，激发创造
  • 对话评估指标的全面评估

    这篇论文对 23 种不同的自动评估度量在 10 个不同的数据集上进行了评估，并在不同的设置中对其进行了评估，从而更好地确定它们各自的优缺点。综合评估提供了关于对话评估指标的几个认识，为未来的研究提供了有用的指导。

    Jun, 2021

  • 对话系统评估方法调查

    本文介绍了对话系统的主要概念，分类和开发过程中的评估方法，其中包括人类评估和问卷调查。为了减少人力投入，我们介绍了各种对话系统的评估方法，覆盖了任务导向、交互式和问答式对话系统，并介绍了其关键技术。

    May, 2019

  • 评估面向任务的对话系统：度量、构建和操作方式的系统性综述

    对任务导向型对话系统的评估方法进行广泛的综述，着重关注对话系统在实际应用中（例如客户服务）的应用；对以前工作中使用的构造和指标进行了概述；讨论了对话系统评估的挑战，并制定了未来研究议程；通过对四个数据库（ACL、ACM、IEEE 和 Web of Science）的系统综述，总共有 122 项研究进行了仔细分析，发现没有明确报告操作化情况，并希望未来的研究能对使用的构造进行更加批判性的操作化和规范化；最后给出了评估方面的建议和未解决问题的建议。

    Dec, 2023

  • 评估和比较开放域对话系统

    本文提出了一种全面的评估策略，与人类判断相关的几个指标是构建无目标对话系统的关键，此方法可促进对话型 AI 的自动化评估过程。

    Jan, 2018

  • 人类评估对话的敏感度是个开放性问题：比较不同的方法用于评估对话代理

    本文研究了如何有效地评估对话系统的性能，发现人工评估是最好的方法，但人工评估方法的不同会导致不同的数量的人工注释和劳动成本，因此我们比较了五种不同的众包工人评估方法，发现不同的方法适用于不同类型的模型比较，建议在何时采用哪种方法，以及未来的研究方向。

    Jan, 2022

  • 实现对开放域对话系统的可靠人工评估

    本文提出了一种可靠且低成本的人类评估方法，以取代已被证明不可靠的自动评估方法，比较了与无人设定的系统相比，使用人设定对话主题的对话系统在对话质量上没有积极的贡献。

    Mar, 2022

  • ACUTE-EVAL: 优化问题和多轮比较的对话评估改进

    本研究提出一个基于自我对话模型的评价过程，旨在寻找一种在不同注释人员之间具有更强鲁棒性的评级测试方案。经过实验证明，在这种方案下，我们可以在更快、更便宜的情况下推出新的测试标准并发布开源代码。

    Sep, 2019

  • 与机器交谈：新兴对话系统综述

    本篇论文综述了对话系统的历史发展、基本操作、训练数据集、机器学习方法和评价指标，并探讨了该领域目前面临的挑战和未来前景。

    May, 2023

  • DSTC 11 跟踪器 4：开放域对话系统鲁棒性和多语言自动评估指标综述

    本文提出神经网络和自动评估方法在对话系统中的应用，特别关注 DSTC11 的自动评估度量标准和结果。

    Jun, 2023

  • 面向聊天机器人人工评估的标准准则：一项调研

    对涉及 Chatbots 的 105 篇人机评估论文进行了全面调查，提出了五个标准评估指标及其精确定义，以解决由多样化评价标准导致的可靠性和可复制性问题。

    May, 2021