Dec, 2023

评估面向任务的对话系统：度量、构建和操作方式的系统性综述

PDF
TL;DR对任务导向型对话系统的评估方法进行广泛的综述，着重关注对话系统在实际应用中（例如客户服务）的应用；对以前工作中使用的构造和指标进行了概述；讨论了对话系统评估的挑战，并制定了未来研究议程；通过对四个数据库（ACL、ACM、IEEE 和 Web of Science）的系统综述，总共有 122 项研究进行了仔细分析，发现没有明确报告操作化情况，并希望未来的研究能对使用的构造进行更加批判性的操作化和规范化；最后给出了评估方面的建议和未解决问题的建议。
evaluation methodstask-oriented dialogue systemscustomer serviceconstructsmethods
发现论文，激发创造
  • 对话系统评估方法调查

    本文介绍了对话系统的主要概念，分类和开发过程中的评估方法，其中包括人类评估和问卷调查。为了减少人力投入，我们介绍了各种对话系统的评估方法，覆盖了任务导向、交互式和问答式对话系统，并介绍了其关键技术。

    May, 2019

  • 走向统一的对话系统评估：对当前评估协议的全面分析

    本文针对对话系统中的评估协议不统一的问题，综合研究了人工评估和自动评估方法，建议建立更加健壮和统一的评估协议，并对目前使用的自动、静态和交互式评估方法进行分析，最终通过与 Alexa Prize 2020 中的系统 - 用户对话数据进行比较，提出最有效的评估维度。

    Jun, 2020

  • 面向任务型对话系统的最新进展和挑战

    本文探讨了任务导向对话系统的最新研究进展和挑战，特别在三个关键领域进行了深入讨论：提高数据效率、模拟多回合动态以优化任务完成性能，以及将领域本体知识与对话模型集成。此外，还评估了最近的对话进展和一些常用的语料库。我们相信，这虽然不是一个完整的调查，但它仍然可以为未来任务导向对话系统的研究提供启示。

    Mar, 2020

  • 对话评估指标的全面评估

    这篇论文对 23 种不同的自动评估度量在 10 个不同的数据集上进行了评估，并在不同的设置中对其进行了评估，从而更好地确定它们各自的优缺点。综合评估提供了关于对话评估指标的几个认识，为未来的研究提供了有用的指导。

    Jun, 2021

  • DSTC 11 跟踪器 4：开放域对话系统鲁棒性和多语言自动评估指标综述

    本文提出神经网络和自动评估方法在对话系统中的应用，特别关注 DSTC11 的自动评估度量标准和结果。

    Jun, 2023

  • 分析用户行为以客观评估口语对话系统

    间接但客观地评估系统基于用户行为的框架在社交对话任务中揭示了用户行为与主观评估分数之间的关系，并提出了选择适当的用户行为以为每个社交对话任务进行客观评估提供有价值的观察。

    Jan, 2024

  • 面向目标的对话模型表现良好吗？系统评估的实证分析

    本文介绍了针对多轮会话任务的目标导向对话系统，并开展了各种组件的评估研究，结果表明使用精细化监督训练的分段式对话系统比使用端到端模型训练的系统表现更好，且单轮评估结果并不总能反映对话系统整体表现，在早期开发阶段，使用模拟评估仍然是代价更小的可行选择。

    May, 2020

  • 评估和比较开放域对话系统

    本文提出了一种全面的评估策略，与人类判断相关的几个指标是构建无目标对话系统的关键，此方法可促进对话型 AI 的自动化评估过程。

    Jan, 2018

  • 评估基于任务的对话系统在口语交流中的鲁棒性：“你有多强大？

    研究口语任务导向对话状态跟踪和基于知识的对话建模，提出使用已有数据集不足的问题，借助 n-best 语音识别假设，改善任务绩效，并说明现有模型在口语数据方面存在不足，研究结果呈现有利于基于语音的任务导向对话系统的基准测试数据集。

    Sep, 2021

  • 医学对话：类别、方法、评估和挑战的调查

    这篇论文从技术角度对医疗对话系统进行了调查和组织，总结了医疗对话系统的分类、方法和评估，并列出了医疗对话系统的主要挑战，尤其是大型语言模型。

    May, 2024