本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于TransferTransfo和生成模型预训练的对话模型，并在MultiWOZ数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

Jul, 2019

提出了一种名为UniConv的神经结构，它能够同时训练多个模块，包括对话状态跟踪和回答生成器，用于多域任务导向的对话系统，实验表明其在MultiWOZ2.1基准测试上具有优异的性能。

Apr, 2020

本文旨在探究将自然语言处理大规模语言模型fine-tuning应用于其他任务是否有效，通过在三大问题领域（文本分类、问题回答、序列标注）的33个NLP任务上的数据验证，结果显示transfer learning在数据稀缺情况下更为有效，在源任务数据较少或与目标任务差异较大的情况下仍能提高性能，同时提出了可以预测给定目标任务最具可转移性源任务的任务嵌入，并验证其在数据大小、源和目标之间的有效性。最终的结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。

May, 2020

本文介绍了 DialoGLUE，一种公共基准，旨在鼓励对话研究的表示转移，领域自适应和样本有效任务学习。通过 DialoGLUE 基准，基线方法和评估脚本，我们希望促进发展更为通用的任务导向型对话模型。

Sep, 2020

本研究提出一种利用信念状态注解进行对话增强的框架，能够在无需过多样本的情况下，显著提高DST模型和语言模型在新领域翻译任务中的表现，适用于n-shot训练场景。

Feb, 2021

研究发现，为了适应特定领域的无标签数据，引入进一步的预训练阶段可以带来积极影响，不同的下游任务需要适当的先前任务作为进一步的预训练任务来弥合任务公式差距，并针对多个任务导向的对话下游任务设计各种任务以提高其性能。

Sep, 2021

本文介绍了 Multi2WOZ 多语言多领域任务导向对话数据集，并提出了一种用于传输任意下游任务的多语言对话PrLM的新框架，证明了在多数情况下，最佳表现是将（I）针对目标语言的会话专业化与（ii）少次转移结合在一起，并且我们展示了针对目标语言的会话专业化可以实现下游任务的异常样本效率的少次转移。

May, 2022

本研究探讨了在对话领域中，基于顺序迁移学习的多少目标任务训练数据会对模型性能和数据效率产生何种影响。研究结果表明，在许多情况下，与没有迁移学习的相同模型相比，目标任务的训练数据大小对顺序迁移学习的表现几乎没有影响。这一出人意料的结果可能是灾难性遗忘效应的影响，进一步的工作需要研究如何避免这种遗忘。

Oct, 2022

研究使用辅助任务对自回归模型进行改进，提高其在开放域对话生成中的长期语境处理和一致性维护，结果在小型和中型的GPT-2模型上表明引入新的辅助任务虽然有所改进，但仍有发展空间。

Apr, 2023

最新研究表明，在两个专门的语言模型的权重之间进行插值可以以多任务学习无法实现的方式在任务之间转移知识。然而，极少有人探索过在两个以上模型之间进行插值，每个模型具有不同的知识库。本文介绍了一种称为DFWE（Derivative Free Weight-space Ensembling）的新的基于少样本的任务迁移方法，用于开放领域对话。我们的框架使用预定义的源任务集创建了一组多样的专家语言模型。然后，我们在目标任务上对每个专家模型进行微调，从多个不同的知识库中处理目标任务。最后，我们使用无梯度优化算法在模型权重之间进行线性插值，以有效地找到一个好的插值权重。我们在FETA-Friends上展示了该方法的有效性，其优于标准的预训练-微调方法。

Jul, 2023