从稀疏到稠密:GPT-4 基于密度链的摘要生成
通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成,我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。
May, 2023
本研究提出了一种抽象化汇总方法,可用于文档集合而非个别文档。我们的方法应用语义聚类、主题聚类内的文档大小缩减、聚类文件的语义分块、基于 GPT 的汇总和连接以及每个主题的综合情感和文本可视化,支持探索性数据分析。通过使用 ROGUE 汇总分数将我们的结果与现有的先进系统 BART、BRIO、PEGASUS 和 MoCa 进行了统计比较,我们发现在 CNN/Daily Mail 测试数据集上,性能与 BART 和 PEGASUS 相当,在 Gigaword 测试数据集上,性能与 BART 相当。这一发现是令人鼓舞的,因为我们认为文档集合的汇总比个别文档的汇总更具挑战性。最后,我们讨论了规模问题。
Oct, 2023
使用知识蒸馏相关的方法,我们训练了一个开源模型,以 GPT-3.5 生成的样本输出为基础,该模型的参数规模为 350m,足够小以在单个 16gb GPU 上运行,并在评估中展示其足够大,以在这个任务上模仿 GPT-3.5。
Aug, 2023
通过新颖的软提示体系结构和提示预训练加微调范式,研究了少样本主动式摘要生成的挑战性任务,使得模型仅调整了极少数的参数。结果显示,与调整所有模型参数的完全模型调优相比,我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好,同时也超过了大规模加提示的 Prompt Tuning,并使用只有 3% 的模型参数的 Prefix-Tuning 取得了有竞争力的结果。
Apr, 2022
本文研究 GPT-3 等零样本学习模型对新闻文本摘要的影响,发现零样本模型的摘要被人类普遍接受,且不会出现数据特异性问题,并探讨零样本摘要的评估问题和后续研究挑战。
Sep, 2022
本文提出了利用实体链策略来帮助生成摘要的方法,通过在目标摘要前附加实体链从而生成更为准确与可控制的摘要,该方法在多个数据集上得到应用,并在 faithfulness 方面表现优异。
Apr, 2021
本文提出了基于前缀微调(prefix tuning)的方法,使用一组可训练的连续前缀提示和离散提示来辅助模型生成,显著提高了使用 GPT-2 生成的 CNN/Daily Mail 和 XSum 摘要的事实保留。此方法在知识增强的文档摘要中表现出了其有效性,并显示了在其他自然语言处理任务中的巨大潜力。
Jan, 2023
ChatGPT 借鉴了 ICL 和重新讲述的能力,提出了 PADS,这是一个用于辅助 ChatGPT 进行领域概括的流程,由一个检索模型和一个排序模型组成,能够有效引导 ChatGPT 生成适合不同领域要求的凝练摘要。
Jun, 2024
本文提出了一种用于代码摘要的新型提示学习框架,称为 PromptCS,该框架训练了一个能够生成连续提示的提示代理,以释放大语言模型在代码摘要中的潜力,相比于人工编写的离散提示,连续提示更易于大语言模型理解。PromptCS 在 CodeSearchNet 数据集上的评估结果表明,优于所有四个广泛使用的度量标准的指导学习方案,并且在某些基础大语言模型上,例如 CodeGen-Multi-2B 和 StarCoderBase-1B 和 - 3B,甚至优于任务导向的微调方案。重要的是,PromptCS 的训练效率比任务导向的微调方案更快,在较大的大语言模型上具有更明显的优势。人工评估的结果表明,与基准相比,PromptCS 能够生成更好的摘要。
Dec, 2023