Sep, 2021

插拔式任务导向对话系统的多任务预训练

HTML
PDF
TL;DR该研究提出了通过PPTOD模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准TOD任务的最新成果。
发现论文，激发创造
  • 基于预训练语言模型的任务导向对话系统研究——以GPT-2为例

    本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于TransferTransfo和生成模型预训练的对话模型，并在MultiWOZ数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

    Jul, 2019

  • 针对任务导向对话的简单语言模型

    SimpleTOD采用单个因果语言模型解决任务导向的对话，具有先进的性能，并且可以完全利用预训练、开放领域的因果语言模型进行转移学习。它提高了对话状态跟踪的联合目标准确性，改善了在端到端设置中评估行动决策和响应生成的主要指标。

    May, 2020

  • DS-TOD：针对任务导向对话的高效领域专业化

    本文探讨了领域专业化预训练对任务定向对话的影响，并提出了一种领域适配器技术，通过构建和利用专门领域的资源，如DomainCC和DomainReddit来提高模型的任务性能。

    Oct, 2021

  • 任务导向对话系统语言模型比较研究

    本研究比较了使用最新的预训练模型，如 BART 和 T5 对任务导向对话系统的端到端训练的效果和强度，实验结果表明在语言模型微调后，模型生成的响应更流畅、更准确，BART 和 T5 在 BLEU 和 F1 分数方面胜过 GPT-based models，达到了任务导向对话系统的最先进水平。

    Jan, 2022

  • 面向任务导向对话系统的半监督知识驱动预训练

    本文介绍了我们的Track 2模型，利用大规模真实世界的MobileCS中国TOD数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。

    Oct, 2022

  • 使用上下文摘要和领域框架的零样本泛化端到端任务导向对话系统

    该研究介绍了一种基于GPT-2模型的零-shot通用端到端任务导向对话系统，该系统利用​​域模式允许对未见过的域进行健壮的泛化，并利用对话历史的有效摘要，实现一般任务完成技能的学习。经过了大量的实验评估SGD和SGD-X数据集，跨越多达20个独特的领域，ZS-ToD在关键度量上优于现有技术，联合目标准确率提高了17％，信息传递提高了5个单位。

    Mar, 2023

  • InstructTODS: 大型语言模型用于端到端任务导向式对话系统

    通过利用大型语言模型，InstructTODS 提供了一种零训练样本的端到端任务导向式对话系统的框架，可以适应多样领域并有效地将用户意图转化为查询，而且在帮助性、信息性和人性化方面明显优于黄金标准回复及现有技术的 TODS。

    Oct, 2023

  • TOD-Flow：任务导向对话结构建模

    我们提出了一种从对话数据中推断出TOD-Flow图的新方法，该图可以与对话模型集成，以改善其预测性能、透明度和可控性，并且在MultiWOZ和SGD基准测试中显著提高了对话行为分类和端到端响应生成性能。

    Dec, 2023

  • OmniDialog: 用于任务导向对话系统的全能预训练模型

    探讨了将PCM预训练于对话管理、生成和理解任务中的OmniDialog模型在对话任务中的效能。

    Dec, 2023

  • DivTOD：发挥LLMs在多样化任务导向对话表示中的力量

    本文提出了一种称为DivTOD的新型对话预训练模型，它与LLMs合作，学习多样的任务导向对话表示，并在各种下游对话任务上优于强基线模型，同时学习任务导向对话的内在多样性。

    Mar, 2024