利用自我监督方法增强语义理解，用于抽象对话摘要

Sep, 2022

利用自我监督方法增强语义理解，用于抽象对话摘要

Enhancing Semantic Understanding with Self-supervised Methods for Abstractive Dialogue Summarization

Hyunjae Lee, Jaewoong Yun, Hyunjin Choi, Seongho Joe, Youngjune L. Gwon

TL;DR本文介绍一种使用预处理的深度语境化文本编码器 BERT 来改善自然语言任务，包括抽象概括，并提出一种自我监督的方法来弥补对话概括模型的缺陷。在共享的编码器 - 解码器架构上构建和微调抽象对话概括模型，并在最近引入的 SAMSum 语料库中经验性地评估，证明我们的方法在抽象概括中做出了改进。

Abstract

contextualized word embeddings can lead to state-of-the-art performances in natural language understanding. Recently, a pre-trained deep contextualized text encoder such as bert has shown its potential in improvi

contextualized word embeddings bert dialogue summarization abstractive summarization samsum corpus

发现论文，激发创造

DialogueBERT：基于自监督学习的对话预训练编码器

本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。

Sep, 2021

上下文提取式自监督学习

通过引入三种辅助预训练任务，从而以自监督的方式学习捕捉文档级上下文，进一步改善目前的提取式摘要模型，并在广泛使用的 CNN / DM 数据集上进行的实验验证了所提出的辅助任务的有效性。此外，我们显示出，在预训练后，一个由简单构建块组成的干净模型可以胜过之前精心设计的最先进模型。

Jun, 2019

使用预训练编码器进行文本摘要

本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

Aug, 2019

带语义脚手架的抽象对话摘要

本文提出了一种基于 MultiWOZ 数据集的抽象对话总结数据集和一种名为 Scaffold Pointer Network (SPNet) 的抽象对话总结模型，并提出了一种新的评估度量标准考虑了关键信息实体。在所有自动和人工评估指标上，SPNet 均优于现有的抽象概括方法。

Oct, 2019

TED：一个带有主题建模和去噪的预训练无监督摘要模型

提出了 TED，一种基于 Transformer 的无监督抽象摘要系统，该系统预先训练了大规模数据，利用主题建模和去噪自编码器来提高生成摘要的质量，并在 NYT，CNN/DM 和 English Gigaword 数据集中优于所有无监督抽象基线模型，并高度具有抽象性。

Jan, 2020

基于课程指导的抽象摘要

本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

Feb, 2023

抽象会议总结：一项调查

本文对多方会议情境下的自动摘要这一任务涉及到的难点、数据集以及系统进行了综述，并介绍了未来的研究方向。

Aug, 2022

抽象摘要生成中的聚类模式学习

我们提出了一种用于摘要生成的新型聚类转换器层，该层在编码器和解码器之间生成两个显着和非显着簇，然后通过对聚类进行归一化和收缩，将它们分隔在潜空间中，从而使解码器可以更多地关注显着的上下文向量，并能够达到比现有 BART 模型更好的性能。

Feb, 2022

具有草图监督的可控抽象对话摘要

本文针对抽象对话摘要的质量和粒度控制问题，提出了一种包含两个主要组成部分和阶段的模型，实现了基于伪标注疑问代词类别和基于组成句法分析提取关键词短语生成初步摘要，并通过自动确定或控制源文本中不同文本片段预测和突出显示给定对话的生成摘要句子数量。在最大的对话摘要语料库 SAMSum 上表现出优越性能，达到了 50.79 的 ROUGE-L 评分，并展示了竞争性高的人类评估结果和可控制的效果。

May, 2021

使用 BERT 进行口头和书面指令的抽象摘要

本研究使用 BERTSum 模型对按主题分类的教学视频进行抽象摘要概括，通过多个英文语境下的数据集预训练模型，使用 ROUGE 和 Content-F1 评分进行结果评估，同时进行人工盲评，结果显示本方法在 WikiHow 数据集中具有较高的效果及概括性能力。

Aug, 2020