ACLOct, 2021

DS-TOD：针对任务导向对话的高效领域专业化

PDF
TL;DR本文探讨了领域专业化预训练对任务定向对话的影响，并提出了一种领域适配器技术，通过构建和利用专门领域的资源，如 DomainCC 和 DomainReddit 来提高模型的任务性能。
self-supervised pretrainingtask-oriented dialogdomain specializationmasked language modelingresponse selection
发现论文，激发创造
  • DivTOD：发挥 LLMs 在多样化任务导向对话表示中的力量

    本文提出了一种称为 DivTOD 的新型对话预训练模型，它与 LLMs 合作，学习多样的任务导向对话表示，并在各种下游对话任务上优于强基线模型，同时学习任务导向对话的内在多样性。

    Mar, 2024

  • 插拔式任务导向对话系统的多任务预训练

    该研究提出了通过 PPTOD 模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准 TOD 任务的最新成果。

    Sep, 2021

  • 面向任务的端到端对话系统的任务优化适配器

    该研究提出了一种基于 Task-Optimized Adapters 和强化学习的 End-to-end TOD 系统，能够独立学习每个任务，并在 MultiWOZ 基准测试上表现出优越的性能，特别是在 2.2 数据集上的 DST 任务达到了最先进的水平。

    May, 2023

  • 将领域知识注入语言模型以用于面向任务的对话系统

    本研究中，我们使用轻量级 adapters 来注入特定领域的知识以在 TOD 任务上进行微调，通过 KPRS 探测方法证明 adapters 对于对话生成任务有着优秀的表现。

    Dec, 2022

  • 使用上下文摘要和领域框架的零样本泛化端到端任务导向对话系统

    该研究介绍了一种基于 GPT-2 模型的零 - shot 通用端到端任务导向对话系统，该系统利用​​域模式允许对未见过的域进行健壮的泛化，并利用对话历史的有效摘要，实现一般任务完成技能的学习。经过了大量的实验评估 SGD 和 SGD-X 数据集，跨越多达 20 个独特的领域，ZS-ToD 在关键度量上优于现有技术，联合目标准确率提高了 17％，信息传递提高了 5 个单位。

    Mar, 2023

  • XQA-DST：多域和多语言对话状态跟踪

    本文提出了一种领域无关的抽取式问答方法用于对话状态跟踪，通过训练一个分类器来预测多个领域的出现情况，将复杂的领域信息进行分离并在活动领域提取跨域问题答案，在多个数据集上达成了优秀的零 - shot 转移模型表现。

    Apr, 2022

  • 利用合成的开放领域对话提高任务机器人的参与度

    提出了一种自动生成结合任务导向对话和开放领域对话的框架，同时介绍了一种适用于这一任务的统一模型 PivotBot，并通过评估结果证明，该模型能够在任务导向对话和开放领域对话之间无缝切换。

    Dec, 2022

  • Multi2WOZ: 一个强大的多语言数据集和面向任务型对话的预训练

    本文介绍了 Multi2WOZ 多语言多领域任务导向对话数据集，并提出了一种用于传输任意下游任务的多语言对话 PrLM 的新框架，证明了在多数情况下，最佳表现是将（I）针对目标语言的会话专业化与（ii）少次转移结合在一起，并且我们展示了针对目标语言的会话专业化可以实现下游任务的异常样本效率的少次转移。

    May, 2022

  • TOD-BERT: 面向任务导向对话的预训练自然语言理解

    本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

    Apr, 2020

  • 促进情境学习与指示在端到端任务导向型对话系统中的协同作用

    利用 SyncTOD 改进了与任务有关的对话系统，通过在有限的数据情况下训练具有辅助模型和启示的大型语言模型，实现了在低数据设置中与 LLM 基准模型和 SoTA 模型相比的卓越性能。

    May, 2024