Jan, 2023

将知识融入文档摘要生成：基于 Prefix-Tuning 和 GPT-2 的应用

PDF
TL;DR本文提出了基于前缀微调（prefix tuning）的方法，使用一组可训练的连续前缀提示和离散提示来辅助模型生成，显著提高了使用 GPT-2 生成的 CNN/Daily Mail 和 XSum 摘要的事实保留。此方法在知识增强的文档摘要中表现出了其有效性，并显示了在其他自然语言处理任务中的巨大潜力。
发现论文，激发创造
  • Prefix-Tuning: 优化连续提示用于生成任务

    本文提出字首调整 (prefix-tuning)，来解决专用模型使用全量预训练语言模型的空间问题，自动学习小、定制化的向量。通过应用于自然语言生成和文本总结，仅使用 0.1% 的参数即能达到很好的性能。

    Jan, 2021

  • 面向领域的前缀微调：用于零样本对话摘要的高效且具有通用性的微调方法

    本文提出了一种高效且通用的基于领域的前缀微调模型，利用领域词初始化前缀模块以减轻领域交错，采用离散提示来引导模型关注对话的关键内容并增强模型的泛化能力。我们在 TODSum 和 QMSum 数据集上进行了零 - shot 实验，并构建了领域自适应基准。充分的实验和定性分析证明了我们方法的有效性。

    Apr, 2022

  • KnowPrefix-Tuning: 基于知识的双阶段前缀调整对话生成功能框架

    为了简化知识导引对话系统的检索过程，本文提出了一种利用预训练语言模型中的固有知识编码的轻量级知识前缀注入方法，称为 Knowledgeable Prefix Tuning，并提出一种新颖的交互式重新参数化机制，使前缀完全与语言模型交互，并在实验中得到了成功的应用。

    Jun, 2023

  • 基于前缀调整的无监督文本风格转换

    我们提出了一种基于前缀调优的无监督文本风格转换方法，利用强大的预训练大型语言模型，构建不同类型的前缀来编码任务特定信息、目标风格和输入句子的内容信息，以实现在保留内容的同时改变输入句子的风格，采用递归的方式使用语言模型来提高模型性能，在著名数据集上的评估结果和深入理解所提出方法的消融研究分析及人工主观评估表明我们的方法优于现有技术基线。

    Oct, 2023

  • GPT-3 时代的新闻摘要和评估

    本文研究 GPT-3 等零样本学习模型对新闻文本摘要的影响，发现零样本模型的摘要被人类普遍接受，且不会出现数据特异性问题，并探讨零样本摘要的评估问题和后续研究挑战。

    Sep, 2022

  • 带前缀合并的小样本查询驱动摘要

    本文提出并探究使用基于前缀的预训练策略 (prefix-merging) 将文本摘要和问答系统的知识转移应用到查询集中摘要系统的少样本学习中，该方法优于微调 (fine-tuning)。此外，本文还讨论了不同前缀设计的影响并提出可视化解释，旨在解决查询集中摘要系统的数据不足问题。

    Nov, 2022

  • PSP: 面向少样本抽象摘要的预训练软提示

    通过新颖的软提示体系结构和提示预训练加微调范式，研究了少样本主动式摘要生成的挑战性任务，使得模型仅调整了极少数的参数。结果显示，与调整所有模型参数的完全模型调优相比，我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好，同时也超过了大规模加提示的 Prompt Tuning，并使用只有 3% 的模型参数的 Prefix-Tuning 取得了有竞争力的结果。

    Apr, 2022

  • 具有对比前缀的可控自然语言生成

    提出了一种新颖的轻量级的 GPT2 生成框架，该框架利用一组小的属性特定向量，称为前缀，来控制自然语言生成，其中前缀使用多方面控制的监督方法和无监督方法进行训练，实验结果表明，我们的方法可以引导生成达到期望的特性，同时保持高水平的语言质量。

    Feb, 2022

  • 通过提示调整的大型语言模型进行医患对话的自动摘要

    通过 prompt 调整，使用生成式大型语言模型（LLMs）概括医生与患者对话，证明了生成式临床 LLMs 调整对于医学自动文摘系统的效率。

    Mar, 2024

  • PromptSum: 参数高效的可控抽象自动摘要

    PromptSum 方法结合 Prompt 调优技术、多任务目标和离散实体提示，实现了在高效参数、高效数据和可控性三重条件下的强大自动摘要性能。

    Aug, 2023