EMNLPOct, 2023

通过校准蒸馏增强摘要模型的抽象性

PDF
TL;DR提出了一种名为 DisCal 的新方法，通过引入两种监督方式，提高生成摘要的抽象性（通过 n-gram 重叠度量），同时不牺牲信息量（通过 ROUGE 度量），并在摘要提取中优于之前的方法。
发现论文，激发创造
  • 综合的和抽象的摘要：基于行列式点过程的多样化注意力

    本文通过引入一种称为微观 DPPs 和宏观 DPPs 的方法，提出了一个名为 DivCNN Seq2Seq 的 Diverse Convolutional Seq2Seq 模型，用于生成注重质量和多样性的 attention distribution，从而相比传统模型和强基线模型实现更高的综合性摘要生成。

    Sep, 2019

  • 通过数据提炼和条件生成填空改进抽象摘要的事实错误修正

    提出一种基于条件生成填空任务的新型事实错误修正模型 FactCloze，通过多维度评估生成更忠实的摘要数据集 SummDSC，实验证实了该方法的有效性，相比基线方法，在多个事实一致性指标上有所改进。

    Feb, 2024

  • 无参考摘要的信息论蒸馏

    InfoSumm 是一种基于信息理论目标的新型框架，通过互信息来蒸馏出一个强大的摘要器，不依赖于大规模语言模型的能力或人工编写的参考文献，参数仅为 568M，性能竞争力强，在人工评估中超过了领域内监督模型，更胜一筹于 ChatGPT 的可控摘要。

    Mar, 2024

  • 文本摘要中的抽象化改进

    提出使用上下文相关网络和预训练的语言模型来提高抽象文本摘要的生成水平和使用新颖度度量来优化生成的摘要，从而实现比现有方法更高水平的摘要生成。

    Aug, 2018

  • 在摘要模型中调整似然函数以求得一致性

    通过校准概率与自然语言推理模型一致性得分之间的关系，我们提出了一种改进抽象文本摘要模型的方法，该方法确保所生成的摘要更加一致且质量更高。

    Oct, 2023

  • 文本摘要的嘈杂自知力蒸馏

    本文将自我知识蒸馏应用到文本摘要中，通过引入教师模型生成平滑标签以帮助正则化训练，同时使用多个噪声信号来更好地模拟不确定性，实验结果显示该框架提高了预先训练和非预先训练摘要器的性能，并达到了最先进的结果。

    Sep, 2020

  • 论摘要总结压缩中的注意力温度问题

    该研究论文着重研究如何将深度学习模型中的大模型压缩成小模型，以便更快地生成和节省计算资源，并探究注意力温度在捕捉伪标签方面的作用。

    Jun, 2021

  • 无需参考文献的句子摘要生成：通过符号知识蒸馏实现更精细的控制

    本研究提出了一种名为 Referee 的句子摘要框架，可无需金标准摘要进行训练，同时允许直接控制压缩比率。通过符号知识蒸馏的概念框架，从预训练语言模型中提炼潜在知识，进一步纯化、过滤和迭代，创造了高质量的数据集和摘要模型，大幅提升了摘要的可控性和压缩效率。

    Oct, 2022

  • 预训练模型摘要精馏

    使用三种不同的压缩学生模型的方法（直接知识蒸馏、伪标签蒸馏和收缩和微调），对当前和过去的最先进的 PEGASUS 和 BART 模型进行压缩蒸馏，在 CNN / DailyMail 数据集上 SFT 方法表现最佳，在更抽象的 XSUM 数据集上伪标签蒸馏方法表现更好。

    Oct, 2020

  • BRIO：让抽象化摘要更有序

    提出了一种新的非确定性分布训练方法，通过根据其质量分配概率质量到不同的候选摘要，从而解决确定性分布训练方法在推断时导致的性能下降问题， 在 CNN/DailyMail 和 XSum 数据集上均取得了优于现有方法的最优结果，并且与质量水平更相关的评估摘要的概率评估。

    Mar, 2022