本研究提出了一种名为 Referee 的句子摘要框架，可无需金标准摘要进行训练，同时允许直接控制压缩比率。通过符号知识蒸馏的概念框架，从预训练语言模型中提炼潜在知识，进一步纯化、过滤和迭代，创造了高质量的数据集和摘要模型，大幅提升了摘要的可控性和压缩效率。

Oct, 2022

该论文提出了一种语言模型的教学方法，通过 Impossible Distillation 实现对原模型进行无监督的特定任务的 dataset 压缩，并通过该数据集训练出高质量的学生模型，在不需要海量数据、评测和人工干预的情况下，获得比 175B 参数 GPT-3 更好的性能的模型，以及包括 3.4M 个句子摘要和释义的高质量数据集 DIMSUM+。

May, 2023

通过 GPT-3 压缩得到的 InheritSumm 模型，即使在 fine-tuning 环节也拥有与 GPT-3 相当的 zeroshot 和 fewshot summarization 性能。

May, 2023

本文将自我知识蒸馏应用到文本摘要中，通过引入教师模型生成平滑标签以帮助正则化训练，同时使用多个噪声信号来更好地模拟不确定性，实验结果显示该框架提高了预先训练和非预先训练摘要器的性能，并达到了最先进的结果。

Sep, 2020

本文提出了一种基于大型语言模型的迭代式文本摘要框架 SummIt，它通过自我评估和反馈，利用上下文学习和主题提取器的支持，以人类起草和修订摘要的迭代过程近似地重新精炼生成的摘要，同时解决了一步摘要所存在的内容缺失和虚构问题，并通过三个基准摘要数据集的经验和质性分析以及人类评估验证了该框架的有效性和可能出现的超校正问题。

May, 2023

使用三种不同的压缩学生模型的方法（直接知识蒸馏、伪标签蒸馏和收缩和微调），对当前和过去的最先进的 PEGASUS 和 BART 模型进行压缩蒸馏，在 CNN / DailyMail 数据集上 SFT 方法表现最佳，在更抽象的 XSUM 数据集上伪标签蒸馏方法表现更好。

Oct, 2020

本文介绍了一种学习无监督条款，在生成模型中引入少量样本来捕获其必要属性的方法，用于生成商品评论等主观性文本的摘要，该方法比以往的提取和抽象方法更有效。

Apr, 2020

提出了一种名为 DisCal 的新方法，通过引入两种监督方式，提高生成摘要的抽象性（通过 n-gram 重叠度量），同时不牺牲信息量（通过 ROUGE 度量），并在摘要提取中优于之前的方法。

Oct, 2023

本文提出了一种新的学习范式，考虑到 LLMS 是常用摘要数据集中的参考标准，用对比学习和 LLM 作为摘要质量评估器进行摘要训练方法。实验证明，用 GPTScore 和 GPTRank 两种 LLM 计分方式训练出来的较小的摘要模型，其性能可以与参考的 LLM 相媲美，通过访问 LLMS 它只需要很小的预算。

May, 2023

本文提出了一种新颖的无监督句子摘要方法，将信息瓶颈原理映射到条件语言建模目标上，并使用迭代算法逐渐搜索给定句子的较短子序列，同时最大化下一个句子在摘要条件下的概率，从而实现对大语料库的抽取式句子摘要，并基于此方法，提出了一种自我监督的抽象式摘要方法，该方法经人工评估表明，优于无监督基线模型。

Sep, 2019