DialogLM: 面向长对话理解和摘要的预训练模型

AAAISep, 2021

DialogLM: 面向长对话理解和摘要的预训练模型

DialogLM: Pre-trained Model for Long Dialogue Understanding and Summarization

Ming Zhong, Yang Liu, Yichong Xu, Chenguang Zhu, Michael Zeng

TL;DR本文提出了一种用于长对话理解和摘要的预训练框架，其中包括以窗口为基础的去噪方法和稀疏注意力机制，并通过实验表明 DialogLM 预训练模型显著优于现有的模型。

Abstract

Dialogue is an essential part of human communication and cooperation. Existing research mainly focuses on short dialogue scenarios in a one-on-one fashion. However, multi-person interactions in the real world, such as meetings or interviews, are frequently over a few thousand words. There is still a lack of corresponding research and powerful tools to unders

long dialogue understanding dialogue summarization generative pre-training sparse attention state-of-the-art models

发现论文，激发创造

SPECTRUM: 面向长对话概述的说话者增强预训练

在本文中，我们提出了一种用于长对话摘要的说话者增强的预训练方法，该方法利用了多轮对话的内在结构。我们通过收集多样化的数据集，并进行预训练，实验证明我们的模型在具有长上下文的基准测试中取得了最先进的性能，超过了基准模型，并突出了我们方法的有效性。我们的研究结果强调了构建多样化的预训练数据集以确保与下游数据集的有效对应的重要性。

Jan, 2024

长对话摘要的探索研究：何有效、何下一步

本文探索了对话摘要的三种策略：扩展变压器模型、检索后摘要流水线模型和分层对话编码模型，并在三个长对话数据集（QMSum、MediaSum、SummScreen）上进行了实验。结果表明，检索后摘要流水线模型具有最佳性能，并说明强大的检索模型和基于外部摘要数据集的预训练可以进一步提高摘要质量。

Sep, 2021

在大型语言模型中，递归总结实现了长期的对话记忆

使用大型语言模型递归生成摘要 / 记忆，从而提高长期记忆能力，进而解决开放领域对话系统中遗忘重要信息的问题。实验证明，该方法可以在长对话环境中生成更加一致的回应。

Aug, 2023

使用伪重述的方式进行后训练对话摘要

该论文提出了一种基于预训练语言模型转换对话到叙述语言的技术，利用此技术可以显著提高对话摘要的性能，而且具有低的实施成本。

Apr, 2022

DialogSum：一个真实场景下的对话摘要数据集

提出了 DialogSum，一种大规模标注的对话摘要数据集，通过对该数据集使用最先进的神经摘要器进行经验分析，结果表明对话摘要中存在诸如口语术语、特殊话语结构、代词和省略、语用学和社会常识等独特挑战，需要特定的表示学习技术来更好地处理。

May, 2021

多轮对话理解的进展：一项综述

本文从对话建模技术的技术角度回顾了以往的方法，总结了对话理解的特点和挑战，并讨论了三种典型的对话建模模式，还对于提升 PrLM 在对话场景下的表现的对话相关预训练技术进行了分类。此外，本文突出了近年来的技术进步，并指出实证分析的教训和未来研究的前景。

Oct, 2021

长对话摘要：一项分析

对于不同的领域来说，长对话摘要的一种模型无法很好地执行各种任务，因此本研究探讨了当前领域内长对话摘要的最新方法和评估指标。

Feb, 2024

对话理解的结构预训练

本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

May, 2021

领域无关多源预训练的低资源对话摘要

本文提出了一种多源预训练范式以更好地利用外部摘要数据，通过有限的训练数据实现对话摘要的有竞争力的性能和不同对话场景中的泛化能力。

Sep, 2021

GLM-Dialog: 知识驱动对话生成的噪声容错预训练

GLM-Dialog 是一个拥有 10B 参数的大规模语言模型，使用搜索引擎来访问网络知识进行基于知识的中文对话，在评估方面提出了一种新的评估方法，同时发布了模型检查点和源代码，并通过微信应用程序与用户进行交互，以促进开源模型和可靠对话评估系统的发展。

Feb, 2023