May, 2019

对话系统评估方法调查

PDF
TL;DR本文介绍了对话系统的主要概念，分类和开发过程中的评估方法，其中包括人类评估和问卷调查。为了减少人力投入，我们介绍了各种对话系统的评估方法，覆盖了任务导向、交互式和问答式对话系统，并介绍了其关键技术。
dialogue systemsevaluation methodshuman labor reductiontask-oriented dialogue systemsconversational dialogue systems
发现论文，激发创造
  • 评估面向任务的对话系统：度量、构建和操作方式的系统性综述

    对任务导向型对话系统的评估方法进行广泛的综述，着重关注对话系统在实际应用中（例如客户服务）的应用；对以前工作中使用的构造和指标进行了概述；讨论了对话系统评估的挑战，并制定了未来研究议程；通过对四个数据库（ACL、ACM、IEEE 和 Web of Science）的系统综述，总共有 122 项研究进行了仔细分析，发现没有明确报告操作化情况，并希望未来的研究能对使用的构造进行更加批判性的操作化和规范化；最后给出了评估方面的建议和未解决问题的建议。

    Dec, 2023

  • 走向统一的对话系统评估：对当前评估协议的全面分析

    本文针对对话系统中的评估协议不统一的问题，综合研究了人工评估和自动评估方法，建议建立更加健壮和统一的评估协议，并对目前使用的自动、静态和交互式评估方法进行分析，最终通过与 Alexa Prize 2020 中的系统 - 用户对话数据进行比较，提出最有效的评估维度。

    Jun, 2020

  • 谈判对话系统综述

    综述谈判对话系统中的最新成果，分析其评估与方法学现状，并讨论多模态、多方和跨文化谈判场景等未来研究方向，以期为研究者提供系统性的概述和启发。

    Dec, 2022

  • 谈判对话系统综述

    综述了最近关于谈判对话系统的研究，包括任务、评估和方法论，探讨了多模态、多方和跨文化谈判情景，并旨在为社区提供系统的谈判对话系统概述以及为未来研究提供启示。

    Feb, 2024

  • 中文人机对话技术的首次评估

    本文介绍了首次对中文人机对话技术的评估，包括两个任务：用户意图分类和任务导向对话的在线测试。研究涉及评价方案、任务、指标以及如何收集和注释数据，最终通过数据分析讨论了该技术的现存问题。

    Sep, 2017

  • 医学对话：类别、方法、评估和挑战的调查

    这篇论文从技术角度对医疗对话系统进行了调查和组织，总结了医疗对话系统的分类、方法和评估，并列出了医疗对话系统的主要挑战，尤其是大型语言模型。

    May, 2024

  • 分析用户行为以客观评估口语对话系统

    间接但客观地评估系统基于用户行为的框架在社交对话任务中揭示了用户行为与主观评估分数之间的关系，并提出了选择适当的用户行为以为每个社交对话任务进行客观评估提供有价值的观察。

    Jan, 2024

  • 与机器交谈：新兴对话系统综述

    本篇论文综述了对话系统的历史发展、基本操作、训练数据集、机器学习方法和评价指标，并探讨了该领域目前面临的挑战和未来前景。

    May, 2023

  • 面向任务型对话系统的最新进展和挑战

    本文探讨了任务导向对话系统的最新研究进展和挑战，特别在三个关键领域进行了深入讨论：提高数据效率、模拟多回合动态以优化任务完成性能，以及将领域本体知识与对话模型集成。此外，还评估了最近的对话进展和一些常用的语料库。我们相信，这虽然不是一个完整的调查，但它仍然可以为未来任务导向对话系统的研究提供启示。

    Mar, 2020

  • 基于深度学习的对话系统的最新进展：系统调查

    本篇调查研究基于深度学习的对话系统，综述了当前对话系统的研究成果，并分析了模型类型和系统类型两个角度。此篇研究是目前最全面和最新的，深入涵盖了流行的技术，为对话系统领域的新手和想要快速了解最新技术的专业人员提供了很好的启示。

    May, 2021