EMNLPApr, 2020

TOD-BERT: 面向任务导向对话的预训练自然语言理解

PDF
TL;DR本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。
task-oriented dialoguepre-trained language modelsbertresponse selectionfew-shot ability
发现论文，激发创造
  • FutureTOD：教授预训练语言模型未来知识用于任务导向对话

    本文提出了一种基于 FutureTOD 模型的对话预训练方法，该方法可通过自我训练并利用未来奖励来使模型学习到当下上下文信息和预测未来信息，从而提高对话表示的概括、鲁棒和学习判别性能力，并在不同的下游对话任务中获得了良好的表现。

    Jun, 2023

  • BootTOD: 通过对齐多样回应优化任务导向对话表征

    本文介绍了一种名为 BootTOD 的新型对话预训练模型，通过自我引导框架学习面向任务的对话表示。与对比方法不同，BootTOD 可以对齐上下文和上下文 + 回复表示，并摒弃了对比对的要求。BootTOD 还使用多个合适的回复目标来模拟人类对话的内在多对多的多样性。实验证明，BootTOD 在不同的下游对话任务上优于强大的 TOD 基线模型。

    Mar, 2024

  • 任务导向对话系统语言模型比较研究

    本研究比较了使用最新的预训练模型，如 BART 和 T5 对任务导向对话系统的端到端训练的效果和强度，实验结果表明在语言模型微调后，模型生成的响应更流畅、更准确，BART 和 T5 在 BLEU 和 F1 分数方面胜过 GPT-based models，达到了任务导向对话系统的最先进水平。

    Jan, 2022

  • DivTOD：发挥 LLMs 在多样化任务导向对话表示中的力量

    本文提出了一种称为 DivTOD 的新型对话预训练模型，它与 LLMs 合作，学习多样的任务导向对话表示，并在各种下游对话任务上优于强基线模型，同时学习任务导向对话的内在多样性。

    Mar, 2024

  • 插拔式任务导向对话系统的多任务预训练

    该研究提出了通过 PPTOD 模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准 TOD 任务的最新成果。

    Sep, 2021

  • 面向任务导向对话系统的半监督知识驱动预训练

    本文介绍了我们的 Track 2 模型，利用大规模真实世界的 MobileCS 中国 TOD 数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。

    Oct, 2022

  • TOD-DA: 从口语会话中提高任务导向对话建模的鲁棒性

    本文提出了一种新的任务定向对话数据增强方法 TOD-DA，它包括对话丰富和口语会话模拟器，可以增加大规模高质量带注释口语会话，以提高口语任务定向对话建模的鲁棒性。在 DSTC10 Track2 的两项任务中，我们的方法均排名第一，证明了 TOD-DA 的优越性和有效性。

    Dec, 2021

  • 针对任务导向对话的简单语言模型

    SimpleTOD 采用单个因果语言模型解决任务导向的对话，具有先进的性能，并且可以完全利用预训练、开放领域的因果语言模型进行转移学习。它提高了对话状态跟踪的联合目标准确性，改善了在端到端设置中评估行动决策和响应生成的主要指标。

    May, 2020

  • DialogueBERT：基于自监督学习的对话预训练编码器

    本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。

    Sep, 2021

  • OPAL: 面向任务的对话的本体感知预训练语言模型

    本文提出了一种面向任务的对话技术（TOD）前置训练语言模型 (OPAL)，采用预训练和微调相结合的方法，成功地解决了无法获得大规模任务对话数据的问题，并在 CamRest676 和 MultiWOZ 基准测试中实现了令人兴奋的提升和竞争性表现。

    Sep, 2022