本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于TransferTransfo和生成模型预训练的对话模型，并在MultiWOZ数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

Jul, 2019

本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明TOD-BERT在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型BERT，并且具有更强的少量数据学习能力。

Apr, 2020

研究通过自我训练的方法，利用大量未标记的对话数据进一步改进预先训练的模型，以应对高昂的对话系统不同模块的标注成本问题，并证明该方法在少量标记数据可利用时可以一致提高现有预先训练模型的性能。

Aug, 2021

研究发现，为了适应特定领域的无标签数据，引入进一步的预训练阶段可以带来积极影响，不同的下游任务需要适当的先前任务作为进一步的预训练任务来弥合任务公式差距，并针对多个任务导向的对话下游任务设计各种任务以提高其性能。

Sep, 2021

该研究提出了通过PPTOD模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准TOD任务的最新成果。

Sep, 2021

本研究比较了使用最新的预训练模型，如 BART 和 T5 对任务导向对话系统的端到端训练的效果和强度，实验结果表明在语言模型微调后，模型生成的响应更流畅、更准确，BART 和 T5 在 BLEU 和 F1 分数方面胜过 GPT-based models，达到了任务导向对话系统的最先进水平。

Jan, 2022

这篇论文介绍了 GODEL（Grounded Open Dialogue Language Model），它是一种大型预训练语言模型，用于对话。与以前的模型相比，GODEL 利用了一种新的基于 Grounded 的预训练方法，以更好地支持适应广泛的下游对话任务。实验表明，GODEL 在少样本 Fine-tuning 方式下表现优异，具备更好的实用性和信息传达特征。

Jun, 2022

本文介绍了一种名为SPACE-3的新型半监督预训练会话模型，它可以从大规模对话语料库中学习任务导向对话系统所需的语义向量表达，并在若干下游任务中表现出领先的性能。

Sep, 2022

使用任务驱动的自动提示生成（TAP）生成高质量提示来扩展预先训练的会话模型的数据集，从而构建了适用于各种对话任务和不同对话系统的通用会话预训练模型（UniPCM），该模型表现出强鲁棒性、卓越的迁移能力，可在低资源场景下实现九个不同数据集上的最新结果。

Sep, 2023

使用转向级多任务目标和基于操作树的定期采样技术来提升任务导向型对话系统的理解和生成能力，达到与前期最先进的方法相竞争的性能。

Jan, 2024