本文提出了一个概念简单但实践强大的抽象摘要框架 SimCLS，通过将文本生成任务转化为无参考质量估计问题（即质量评估），辅之以对比学习，能够弥合目前主导的序列到序列学习框架的学习目标与评估度量之间的差距。实验结果表明，SimCLS 可以在对现有最高分系统进行轻微修改的情况下，大幅改善其性能。在 CNN/DailyMail 数据集上，相对于 BART 的 ROUGE-1 取得了 2.51 的绝对改进和相对于 PEGASUS 的 2.50 的绝对改进，将最新的性能推向了一个新水平。我们已开源我们的代码和结果。同时，我们提出的模型已被部署到 ExplainaBoard 平台上，允许研究人员更细致地了解我们的系统。

Jun, 2021

本文提出了一种对比学习模型，用于文本摘要的有监督抽象，通过将文档、其黄金摘要和模型生成的摘要视为同一平均表示的不同视图，并在训练过程中最大化它们之间的相似性，从而改进了强序列到序列的文本生成模型（即 BART）。人类评估也显示，我们的模型与没有对比目标的对应模型相比，实现了更好的忠实度评分。

Sep, 2021

本文通过使用句子重写模型，采用先提取常规句子，后对所选句子进行释义来生成摘要的策略，提出了一种通过强化学习直接最大化摘要级别 ROUGE 得分的新型训练信号，并在 CNN / Daily Mail 和纽约时报数据集上展示了新的最先进表现。在整个实验中，我们还演示了它在 DUC-2002 测试集上的普遍适用性。

Sep, 2019

通过对比学习和负样本生成，提出一个能够生成与给定文章相符的抽象摘要的方法，并使用 QA 验证和人类评判证明其能够更准确地反映事实。

Sep, 2021

本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。

Oct, 2020

提出了一种用于单文档大意提取的全新算法，能够通过强化学习目标全局优化 ROUGE 评估指标，并在 CNN 和 DailyMail 数据集上进行了实验，展示它在人工和自动评估中均优于现有抽取和生成式提取系统的神经大意提取模型。

Feb, 2018

通过引入一种叫做对比学习的技术来解决对话总结中信息分散和主题变化的挑战，该方法使用了两个具体的辅助任务 (coherence detection 和 sub-summary generation)，在基于原始对话总结任务上取得了最优性能，显著超过强基准模型。

Sep, 2021

提出了一种多任务学习架构，用于基于从文本中提取摘要，其中包含摘要器和连贯判别器模块，通过预训练的转换模型（基于模型）和转换矩阵（MAT-based）将句子表示合并，实现了可微分训练，并以此最大化了连贯判别器的连贯度分数，并通过人工评估证实了我们方法提高了从原始文章位置开始提取的连续句子的比例以及有效保留了其他自动评估指标。

May, 2023

本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

Feb, 2020

本文针对序列到序列的神经网络中常见的曝光偏差问题，提出了一种在词法和语义质量之间平衡的重排序方法，并以 BERTScore 为衡量标准，在 CNN/DailyMail 数据集上实现了新的最优表现。

May, 2023