本论文提出了一种任务递进的预训练对话模型，通过两个具有策略感知的预训练任务来解决任务导向型对话模型中的时序性问题和学习对话策略信息的不足。该模型通过三个阶段的逐步任务处理来进行预训练，其中设计了一个全局策略一致性任务用于捕捉多轮对话策略的时序关系，并设计了一个基于行为的对比学习任务用于捕捉相同对话策略样本的相似性。与之前最先进的 PCM（GALAXY）相比，我们的模型仅使用 18％的参数和 25％的预训练数据，在 MultiWOZ 和 In-Car 的端到端对话建模基准上取得了更好的结果。

Oct, 2023

本文提出了一种面向任务的对话技术（TOD）前置训练语言模型 (OPAL)，采用预训练和微调相结合的方法，成功地解决了无法获得大规模任务对话数据的问题，并在 CamRest676 和 MultiWOZ 基准测试中实现了令人兴奋的提升和竞争性表现。

Sep, 2022

该研究提出了通过 PPTOD 模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准 TOD 任务的最新成果。

Sep, 2021

本文提出了一种基于 FutureTOD 模型的对话预训练方法，该方法可通过自我训练并利用未来奖励来使模型学习到当下上下文信息和预测未来信息，从而提高对话表示的概括、鲁棒和学习判别性能力，并在不同的下游对话任务中获得了良好的表现。

Jun, 2023

本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

Apr, 2020

该研究基于各类无监督预训练任务探究对话上下文表示的学习，并通过精细调整的预训练机制，有效整合了外部知识，能够大幅提高对话提取 / 摘要等下游任务的效果。

Feb, 2020

使用任务驱动的自动提示生成（TAP）生成高质量提示来扩展预先训练的会话模型的数据集，从而构建了适用于各种对话任务和不同对话系统的通用会话预训练模型（UniPCM），该模型表现出强鲁棒性、卓越的迁移能力，可在低资源场景下实现九个不同数据集上的最新结果。

Sep, 2023

本文提出了一种用于长对话理解和摘要的预训练框架，其中包括以窗口为基础的去噪方法和稀疏注意力机制，并通过实验表明 DialogLM 预训练模型显著优于现有的模型。

Sep, 2021

本文介绍了我们的 Track 2 模型，利用大规模真实世界的 MobileCS 中国 TOD 数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。

Oct, 2022

本文介绍了一种名为 SPACE-3 的新型半监督预训练会话模型，它可以从大规模对话语料库中学习任务导向对话系统所需的语义向量表达，并在若干下游任务中表现出领先的性能。

Sep, 2022