SPACE-3：面向任务对话理解与生成的统一对话模型预训练
本文提出了一个树状结构预训练的对话模型 SPACE-2，通过半监督对比预训练从有限的已标注对话和大规模未标注对话语料库中学习对话表示，实现了在七个数据集和四个流行的对话理解任务上的最新成果。
Sep, 2022
本文介绍了我们的 Track 2 模型，利用大规模真实世界的 MobileCS 中国 TOD 数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。
Oct, 2022
本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。
Apr, 2020
本文提出了一种基于 FutureTOD 模型的对话预训练方法，该方法可通过自我训练并利用未来奖励来使模型学习到当下上下文信息和预测未来信息，从而提高对话表示的概括、鲁棒和学习判别性能力，并在不同的下游对话任务中获得了良好的表现。
Jun, 2023
本论文提出了一种任务递进的预训练对话模型，通过两个具有策略感知的预训练任务来解决任务导向型对话模型中的时序性问题和学习对话策略信息的不足。该模型通过三个阶段的逐步任务处理来进行预训练，其中设计了一个全局策略一致性任务用于捕捉多轮对话策略的时序关系，并设计了一个基于行为的对比学习任务用于捕捉相同对话策略样本的相似性。与之前最先进的 PCM（GALAXY）相比，我们的模型仅使用 18％的参数和 25％的预训练数据，在 MultiWOZ 和 In-Car 的端到端对话建模基准上取得了更好的结果。
Oct, 2023
本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。
May, 2021
研究通过自我训练的方法，利用大量未标记的对话数据进一步改进预先训练的模型，以应对高昂的对话系统不同模块的标注成本问题，并证明该方法在少量标记数据可利用时可以一致提高现有预先训练模型的性能。
Aug, 2021
该研究提出了通过 PPTOD 模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准 TOD 任务的最新成果。
Sep, 2021
在本文中，我们提出了一种用于长对话摘要的说话者增强的预训练方法，该方法利用了多轮对话的内在结构。我们通过收集多样化的数据集，并进行预训练，实验证明我们的模型在具有长上下文的基准测试中取得了最先进的性能，超过了基准模型，并突出了我们方法的有效性。我们的研究结果强调了构建多样化的预训练数据集以确保与下游数据集的有效对应的重要性。
Jan, 2024