Oct, 2022

无需参考文献的句子摘要生成：通过符号知识蒸馏实现更精细的控制

PDF
TL;DR本研究提出了一种名为 Referee 的句子摘要框架，可无需金标准摘要进行训练，同时允许直接控制压缩比率。通过符号知识蒸馏的概念框架，从预训练语言模型中提炼潜在知识，进一步纯化、过滤和迭代，创造了高质量的数据集和摘要模型，大幅提升了摘要的可控性和压缩效率。
发现论文，激发创造
  • 无参考摘要的信息论蒸馏

    InfoSumm 是一种基于信息理论目标的新型框架，通过互信息来蒸馏出一个强大的摘要器，不依赖于大规模语言模型的能力或人工编写的参考文献，参数仅为 568M，性能竞争力强，在人工评估中超过了领域内监督模型，更胜一筹于 ChatGPT 的可控摘要。

    Mar, 2024

  • 文本摘要的嘈杂自知力蒸馏

    本文将自我知识蒸馏应用到文本摘要中，通过引入教师模型生成平滑标签以帮助正则化训练，同时使用多个噪声信号来更好地模拟不确定性，实验结果显示该框架提高了预先训练和非预先训练摘要器的性能，并达到了最先进的结果。

    Sep, 2020

  • 学习修改引用以实现忠实摘要

    本研究提出了一种新的方法来提高引用质量同时保留全部数据 - 有选择地重写不受支持的引用句子以更好地反映源数据，通过对比学习学习以修订参考文献，测试结果表明本方法能够更好的提高医院课程概述任务的质量。

    Apr, 2022

  • 不可能的蒸馏：从低质量模型到高质量数据集与模型，用于摘要和释义

    该论文提出了一种语言模型的教学方法，通过 Impossible Distillation 实现对原模型进行无监督的特定任务的 dataset 压缩，并通过该数据集训练出高质量的学生模型，在不需要海量数据、评测和人工干预的情况下，获得比 175B 参数 GPT-3 更好的性能的模型，以及包括 3.4M 个句子摘要和释义的高质量数据集 DIMSUM+。

    May, 2023

  • 具有草图监督的可控抽象对话摘要

    本文针对抽象对话摘要的质量和粒度控制问题，提出了一种包含两个主要组成部分和阶段的模型，实现了基于伪标注疑问代词类别和基于组成句法分析提取关键词短语生成初步摘要，并通过自动确定或控制源文本中不同文本片段预测和突出显示给定对话的生成摘要句子数量。在最大的对话摘要语料库 SAMSum 上表现出优越性能，达到了 50.79 的 ROUGE-L 评分，并展示了竞争性高的人类评估结果和可控制的效果。

    May, 2021

  • 符号知识蒸馏：从通用语言模型到常识模型

    研究一个新的框架，基于 Symbolic Knowledge Distillation，使用通用语言模型自动化地从 ATOMIC 资源中筛选高质量因果常识，并创造一种新的常识模型，其大小只有原始模型的 1/100，但功能优于其老师模型。

    Oct, 2021

  • 预训练模型摘要精馏

    使用三种不同的压缩学生模型的方法（直接知识蒸馏、伪标签蒸馏和收缩和微调），对当前和过去的最先进的 PEGASUS 和 BART 模型进行压缩蒸馏，在 CNN / DailyMail 数据集上 SFT 方法表现最佳，在更抽象的 XSUM 数据集上伪标签蒸馏方法表现更好。

    Oct, 2020

  • 摘要生成的推断时间风格控制

    本文提出了两种新的方法来帮助训练集较少的 Transformer 模型实现不同风格的文本摘要生成，分别为调节解码状态和词单元控制，实验结果表明，这两种方法均能够生成简明易懂的文本摘要，并且可以实现不同风格的转换。

    Apr, 2021

  • 通过校准蒸馏增强摘要模型的抽象性

    提出了一种名为 DisCal 的新方法，通过引入两种监督方式，提高生成摘要的抽象性（通过 n-gram 重叠度量），同时不牺牲信息量（通过 ROUGE 度量），并在摘要提取中优于之前的方法。

    Oct, 2023

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020