Oct, 2023

基于任务递进和策略感知预训练的面向任务的对话模型

PDF
TL;DR本论文提出了一种任务递进的预训练对话模型，通过两个具有策略感知的预训练任务来解决任务导向型对话模型中的时序性问题和学习对话策略信息的不足。该模型通过三个阶段的逐步任务处理来进行预训练，其中设计了一个全局策略一致性任务用于捕捉多轮对话策略的时序关系，并设计了一个基于行为的对比学习任务用于捕捉相同对话策略样本的相似性。与之前最先进的 PCM（GALAXY）相比，我们的模型仅使用 18％的参数和 25％的预训练数据，在 MultiWOZ 和 In-Car 的端到端对话建模基准上取得了更好的结果。
pre-trained conversation modelstask-oriented dialogpolicy-aware pre-training tasksdialog policy sequential relationend-to-end dialog modeling
发现论文，激发创造
  • 插拔式任务导向对话系统的多任务预训练

    该研究提出了通过 PPTOD 模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准 TOD 任务的最新成果。

    Sep, 2021

  • OmniDialog: 用于任务导向对话系统的全能预训练模型

    探讨了将 PCM 预训练于对话管理、生成和理解任务中的 OmniDialog 模型在对话任务中的效能。

    Dec, 2023

  • 面向任务导向对话系统的半监督知识驱动预训练

    本文介绍了我们的 Track 2 模型，利用大规模真实世界的 MobileCS 中国 TOD 数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。

    Oct, 2022

  • 通过前瞻目标增强大型语言模型引发的面向任务的对话系统

    ProToD 是一种预测未来对话动作并结合目标导向奖励信号来增强对话系统的方法，通过基于目标导向的对话模拟评估方法，可以在仅使用 10% 的数据的情况下实现比以前的全监督模型更好的性能，同时提高用户满意度和效率。

    Sep, 2023

  • 面向任务的端到端对话系统的任务优化适配器

    该研究提出了一种基于 Task-Optimized Adapters 和强化学习的 End-to-end TOD 系统，能够独立学习每个任务，并在 MultiWOZ 基准测试上表现出优越的性能，特别是在 2.2 数据集上的 DST 任务达到了最先进的水平。

    May, 2023

  • TOD-Flow：任务导向对话结构建模

    我们提出了一种从对话数据中推断出 TOD-Flow 图的新方法，该图可以与对话模型集成，以改善其预测性能、透明度和可控性，并且在 MultiWOZ 和 SGD 基准测试中显著提高了对话行为分类和端到端响应生成性能。

    Dec, 2023

  • DivTOD：发挥 LLMs 在多样化任务导向对话表示中的力量

    本文提出了一种称为 DivTOD 的新型对话预训练模型，它与 LLMs 合作，学习多样的任务导向对话表示，并在各种下游对话任务上优于强基线模型，同时学习任务导向对话的内在多样性。

    Mar, 2024

  • 针对任务导向对话的简单语言模型

    SimpleTOD 采用单个因果语言模型解决任务导向的对话，具有先进的性能，并且可以完全利用预训练、开放领域的因果语言模型进行转移学习。它提高了对话状态跟踪的联合目标准确性，改善了在端到端设置中评估行动决策和响应生成的主要指标。

    May, 2020

  • MultiWOZ 是一个已解决的任务吗？带有用户模拟器的交互式 TOD 评估框架

    本文提出了一种交互式评估框架用于任务指向对话（TOD）系统，通过构建用户目标的预训练模型和使用用户模拟器来交互评估，实验结果表明，我们的提议可以实现与多 WoZ 数据集中的 TOD 任务 98％的成功率和信息率，并引入了句子层和会话层得分来衡量响应质量。

    Oct, 2022

  • SPACE-3：面向任务对话理解与生成的统一对话模型预训练

    本文介绍了一种名为 SPACE-3 的新型半监督预训练会话模型，它可以从大规模对话语料库中学习任务导向对话系统所需的语义向量表达，并在若干下游任务中表现出领先的性能。

    Sep, 2022