EMNLPOct, 2022

MultiWOZ 是一个已解决的任务吗？带有用户模拟器的交互式 TOD 评估框架

PDF
TL;DR本文提出了一种交互式评估框架用于任务指向对话（TOD）系统，通过构建用户目标的预训练模型和使用用户模拟器来交互评估，实验结果表明，我们的提议可以实现与多 WoZ 数据集中的 TOD 任务 98％的成功率和信息率，并引入了句子层和会话层得分来衡量响应质量。
task-oriented dialogueevaluation frameworkuser simulatorrl-based tod systemsinteractive evaluations
发现论文，激发创造
  • 使用大型语言模型进行任务导向对话评估的用户模拟

    为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。

    Sep, 2023

  • 通过前瞻目标增强大型语言模型引发的面向任务的对话系统

    ProToD 是一种预测未来对话动作并结合目标导向奖励信号来增强对话系统的方法，通过基于目标导向的对话模拟评估方法，可以在仅使用 10% 的数据的情况下实现比以前的全监督模型更好的性能，同时提高用户满意度和效率。

    Sep, 2023

  • 当前任务导向的对话模型能否自动化野外实际情境？

    该论文讨论了针对任务的对话系统，提出了基于填槽的 TOD 系统（SF-TOD）框架的局限性，探讨了可扩展的 WebTOD 框架，后者是在 Web / 移动界面上构建对话系统的替代方向，由大规模语言模型驱动对网页 / 移动界面的理解。

    Dec, 2022

  • 多用户多 WOZ：多用户之间的任务导向对话

    通过收集多用户多 WOZ 数据集，该研究提出了多用户背景下的查询重写任务，旨在将两个用户之间的对话重写成只包含任务相关信息、能够被对话系统直接处理的简洁任务查询，实验证明通过预测的重写方式，显著提高了对话状态跟踪的性能，并且可以适用于未知领域。

    Oct, 2023

  • 基于可靠 LLM 的任务导向对话系统用户模拟器

    DAUS 是一种基于大型语言模型的领域感知用户模拟器，通过在真实的面向任务对话示例上进行微调，显著提高用户目标的实现，并有效减少模拟器回应中的不一致性来源。

    Feb, 2024

  • 基于工作流的任务导向对话生成

    本文提出了一种基于强化学习的新框架，用于生成与给定工作流程对齐的对话回复，通过结合 ComplianceScorer 评估指标和交互式采样技术的 RL 优化过程，评估结果表明该框架在任务导向对话系统上优于基线方法，并能生成遵循预定工作流程且自然流畅的对话回复。

    Nov, 2023

  • Multi2WOZ: 一个强大的多语言数据集和面向任务型对话的预训练

    本文介绍了 Multi2WOZ 多语言多领域任务导向对话数据集，并提出了一种用于传输任意下游任务的多语言对话 PrLM 的新框架，证明了在多数情况下，最佳表现是将（I）针对目标语言的会话专业化与（ii）少次转移结合在一起，并且我们展示了针对目标语言的会话专业化可以实现下游任务的异常样本效率的少次转移。

    May, 2022

  • 针对任务导向对话的简单语言模型

    SimpleTOD 采用单个因果语言模型解决任务导向的对话，具有先进的性能，并且可以完全利用预训练、开放领域的因果语言模型进行转移学习。它提高了对话状态跟踪的联合目标准确性，改善了在端到端设置中评估行动决策和响应生成的主要指标。

    May, 2020

  • 通过互动评估揭示任务导向对话中用户熟悉度偏见

    通过交互用户研究，比较了符合系统边界的具体目标说明和不支持但更真实的目标说明两种用户情境下，任务导向型对话系统的漏洞和错误，发现了一种新的机器行为 —— 伪装，在强调透明度和回退策略的同时呼吁建立稳健的任务导向型对话系统。

    May, 2023

  • 插拔式任务导向对话系统的多任务预训练

    该研究提出了通过 PPTOD 模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准 TOD 任务的最新成果。

    Sep, 2021