在本文中，我们提出了一种用于长对话摘要的说话者增强的预训练方法，该方法利用了多轮对话的内在结构。我们通过收集多样化的数据集，并进行预训练，实验证明我们的模型在具有长上下文的基准测试中取得了最先进的性能，超过了基准模型，并突出了我们方法的有效性。我们的研究结果强调了构建多样化的预训练数据集以确保与下游数据集的有效对应的重要性。
Jan, 2024
本文提出了一种用于长对话理解和摘要的预训练框架，其中包括以窗口为基础的去噪方法和稀疏注意力机制，并通过实验表明 DialogLM 预训练模型显著优于现有的模型。
Sep, 2021
本文探索了对话摘要的三种策略：扩展变压器模型、检索后摘要流水线模型和分层对话编码模型，并在三个长对话数据集（QMSum、MediaSum、SummScreen）上进行了实验。结果表明，检索后摘要流水线模型具有最佳性能，并说明强大的检索模型和基于外部摘要数据集的预训练可以进一步提高摘要质量。
本文介绍如何利用 DialoGPT 提供未标注的语料，作为无监督对话注释器，来对两个对话概括数据集 SAMSum 和 AMI 进行标注，使用 DialoGPT 进行标注取得了很显著的成果，并在 SAMSum 数据集上取得了新的最先进水平。
May, 2021
本研究针对对话摘要技术所面临的特殊需求，探索处理多个发言者对话识别、否定理解、情景推理和非正式语言理解四大挑战，并使用预先训练的序列到序列语言模型进行实验，通过发言者名称代替、否定范围突出、多任务学习与域内预训练等方法提高摘要表现，超越强基准结果。
本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。
May, 2023
本文研究基于 Pre-trained Language Models (PLMs) 的注意力矩阵构建对话结构的方法，提出了一种无监督和半监督的方法来定位和利用 PLMs 中的语篇信息，并在 STAC 语料库上获得了令人鼓舞的结果。
Feb, 2023
本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。
通过使用符号知识蒸馏方法改善小型预训练模型的事实一致性，我们在对话摘要中取得了更好的事实一致性，同时保持了连贯性、流畅性和相关性。
Jun, 2024
本文提出了一种新的叙述引导的预训练策略，以学习从对话输入中叙述关键信息的能力，针对当前方法缺失的对话 - 叙述并行语料库，本文利用自动对齐的电影字幕和简介构建了一个这样的语料库，在此基础上，用一个 BART 模型进行预训练，并在四个需要理解的基于对话的任务上评估其性能。实验结果表明，本文所提出的方法不仅在零 - shot 性能上表现出了优越性，而且展示了更强的细粒度的对话理解能力。
Mar, 2022