May, 2023

InheritSumm: 从 GPT 中精简、通用、高效的摘要器

PDF
TL;DR通过 GPT-3 压缩得到的 InheritSumm 模型，即使在 fine-tuning 环节也拥有与 GPT-3 相当的 zeroshot 和 fewshot summarization 性能。
summarization modelgpt-3 distillationfewshot summarizationfine-tuninginheritsumm
发现论文，激发创造
  • 无参考摘要的信息论蒸馏

    InfoSumm 是一种基于信息理论目标的新型框架，通过互信息来蒸馏出一个强大的摘要器，不依赖于大规模语言模型的能力或人工编写的参考文献，参数仅为 568M，性能竞争力强，在人工评估中超过了领域内监督模型，更胜一筹于 ChatGPT 的可控摘要。

    Mar, 2024

  • 使用 GPT-3 进行零 - shot 意见摘要

    本文介绍了如何使用 GPT-3 对大量的用户评论进行零样本情感总结，探讨了一些通用方法并对不同方法的信念忠实度、准确性和通用性等多个角度进行评估。

    Nov, 2022

  • 通过 ChatGPT 进行迭代文本摘要的 SummIt

    本文提出了一种基于大型语言模型的迭代式文本摘要框架 SummIt，它通过自我评估和反馈，利用上下文学习和主题提取器的支持，以人类起草和修订摘要的迭代过程近似地重新精炼生成的摘要，同时解决了一步摘要所存在的内容缺失和虚构问题，并通过三个基准摘要数据集的经验和质性分析以及人类评估验证了该框架的有效性和可能出现的超校正问题。

    May, 2023

  • GPT-3 时代的新闻摘要和评估

    本文研究 GPT-3 等零样本学习模型对新闻文本摘要的影响，发现零样本模型的摘要被人类普遍接受，且不会出现数据特异性问题，并探讨零样本摘要的评估问题和后续研究挑战。

    Sep, 2022

  • 源代码摘要的精简 GPT

    使用知识蒸馏相关的方法，我们训练了一个开源模型，以 GPT-3.5 生成的样本输出为基础，该模型的参数规模为 350m，足够小以在单个 16gb GPU 上运行，并在评估中展示其足够大，以在这个任务上模仿 GPT-3.5。

    Aug, 2023

  • 预训练模型摘要精馏

    使用三种不同的压缩学生模型的方法（直接知识蒸馏、伪标签蒸馏和收缩和微调），对当前和过去的最先进的 PEGASUS 和 BART 模型进行压缩蒸馏，在 CNN / DailyMail 数据集上 SFT 方法表现最佳，在更抽象的 XSUM 数据集上伪标签蒸馏方法表现更好。

    Oct, 2020

  • UniSumm: 统一的 Few-shot 摘要生成：多任务预训练和前缀微调

    提出一种称为 UniSumm 的统一的 few-shot summarization 模型来共同处理多个任务，并可前缀调整以适应任何 few-shot summarization 数据集，并宣传了一个新的基准 SummZoo，其由 8 个不同的生成任务组成， 结果表明，UniSumm 超越了强基准系统，并在 SummZoo 的所有任务中都通过自动和人工评估实现了更好的效果。

    Nov, 2022

  • 无需参考文献的句子摘要生成：通过符号知识蒸馏实现更精细的控制

    本研究提出了一种名为 Referee 的句子摘要框架，可无需金标准摘要进行训练，同时允许直接控制压缩比率。通过符号知识蒸馏的概念框架，从预训练语言模型中提炼潜在知识，进一步纯化、过滤和迭代，创造了高质量的数据集和摘要模型，大幅提升了摘要的可控性和压缩效率。

    Oct, 2022

  • GUMSum：英文抽象摘要的多语种数据和评估

    本文提出了 GUMSum 数据集，旨在评估抽象概括的英语摘要。该数据集高度约束，注重替换潜力、事实和忠实度，结果显示 GPT3 达到了令人印象深刻的得分，但仍然表现不如人类，并且不同类型的错误揭示了生成好概括的挑战。

    Jun, 2023

  • 将知识融入文档摘要生成：基于 Prefix-Tuning 和 GPT-2 的应用

    本文提出了基于前缀微调（prefix tuning）的方法，使用一组可训练的连续前缀提示和离散提示来辅助模型生成，显著提高了使用 GPT-2 生成的 CNN/Daily Mail 和 XSum 摘要的事实保留。此方法在知识增强的文档摘要中表现出了其有效性，并显示了在其他自然语言处理任务中的巨大潜力。

    Jan, 2023