遮蔽编排：多任务预训练用于多角色对话表示学习
该论文研究了用于学习对话上下文表示的各种无监督预训练目标，提出了两种新的对话上下文编码器预训练方法，并对总共四种方法进行了检验，结果在 MultiWoz 数据集上表现出明显的性能提升，并且进一步评估表明我们的预训练目标不仅能够带来更好的性能，而且模型的收敛效果更好，更具有域通用性，减少了对数据的需要。
Jun, 2019
在本文中，我们提出了一种用于长对话摘要的说话者增强的预训练方法，该方法利用了多轮对话的内在结构。我们通过收集多样化的数据集，并进行预训练，实验证明我们的模型在具有长上下文的基准测试中取得了最先进的性能，超过了基准模型，并突出了我们方法的有效性。我们的研究结果强调了构建多样化的预训练数据集以确保与下游数据集的有效对应的重要性。
Jan, 2024
本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。
May, 2021
本文提出了基于多任务学习和预训练技术的框架，利用文本、版面和图像的多模态信息学习通用文档表示，以支持多种下游文档任务，并在标准文档数据集上进行了广泛实验。
Sep, 2020
本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。
Sep, 2021
本篇论文探讨了临床对话任务中自动化提取相关信息的挑战，提出了使用领域特定的语言预训练方法以提高对话理解的性能，结合具体的人类对话交互方式设计样本生成策略，实验结果表明该方法在低资源训练情况下取得良好表现。
Jun, 2022
本文提出了预细调（pre-finetuning）的方法，是在语言模型预训练和微调之间增加一个大规模学习阶段，旨在促进学习出更好地适用于许多不同任务的表示。通过大规模的多任务学习，预细调在广泛的任务中显著提高了预训练鉴别器和生成模型的性能，并显著提高了微调的样本效率。
Jan, 2021
本文提出了一种组合学习方法，进一步超越了预先训练的语言模型，以捕捉涉及对话历史的话语感知和说话人感知等表示。通过使用 Transformer-based PrLM 的 masking 机制，将每个单词分别聚焦在当前话语，其他话语和两种说话人角色（即发送者话语和接收者话语）上，有效区分上下文信息。此外，该方法在对话领域适应性训练策略上借鉴了域自适应训练策略，成功地在四个公共基准数据集上取得了新的最先进性能。
Jan, 2023