COLINGApr, 2022

PSP: 面向少样本抽象摘要的预训练软提示

PDF
TL;DR通过新颖的软提示体系结构和提示预训练加微调范式，研究了少样本主动式摘要生成的挑战性任务，使得模型仅调整了极少数的参数。结果显示，与调整所有模型参数的完全模型调优相比，我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好，同时也超过了大规模加提示的 Prompt Tuning，并使用只有 3% 的模型参数的 Prefix-Tuning 取得了有竞争力的结果。
few-shotabstractive summarizationsoft promptsprompt pre-trainingdocument-level information
发现论文，激发创造
  • PromptSum: 参数高效的可控抽象自动摘要

    PromptSum 方法结合 Prompt 调优技术、多任务目标和离散实体提示，实现了在高效参数、高效数据和可控性三重条件下的强大自动摘要性能。

    Aug, 2023

  • 源代码摘要的提示学习框架

    本文提出了一种用于代码摘要的新型提示学习框架，称为 PromptCS，该框架训练了一个能够生成连续提示的提示代理，以释放大语言模型在代码摘要中的潜力，相比于人工编写的离散提示，连续提示更易于大语言模型理解。PromptCS 在 CodeSearchNet 数据集上的评估结果表明，优于所有四个广泛使用的度量标准的指导学习方案，并且在某些基础大语言模型上，例如 CodeGen-Multi-2B 和 StarCoderBase-1B 和 - 3B，甚至优于任务导向的微调方案。重要的是，PromptCS 的训练效率比任务导向的微调方案更快，在较大的大语言模型上具有更明显的优势。人工评估的结果表明，与基准相比，PromptCS 能够生成更好的摘要。

    Dec, 2023

  • 使用学习实体提示进行抽象摘要规划

    本文提出了利用实体链策略来帮助生成摘要的方法，通过在目标摘要前附加实体链从而生成更为准确与可控制的摘要，该方法在多个数据集上得到应用，并在 faithfulness 方面表现优异。

    Apr, 2021

  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021

  • 借助中间微调和数据增强改善零和少样本抽象摘要

    本论文提出了在数据集特定方式下通过对预训练模型进行微调以实现摘要生成的新型通用方法 - WikiTransfer，并使用循环全球翻译的数据扩增和正则化来提高性能，最终在 CNN-DailyMail 数据集上取得了最先进的性能

    Oct, 2020

  • 高效的少样本微调技术在观点摘要中的应用

    本文提出一种高效的 few-shot 方法来训练与顾客评论相关的摘要模型。该方法利用适配器进行预训练，并在大量未注释的顾客评论和少量人工注释样本上进行微调。实验结果表明，与标准微调相比，自我监督的适配器预训练可以提高摘要质量，减少语法错误和语义错误。

    May, 2022

  • POUF: 面向提示的无监督微调大规模预训练模型

    本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

    Apr, 2023

  • 持续预训练以提高零样本和少样本提示能力

    本研究探讨了在语言模型提示方法中继续预训练阶段是否能够提高零 - shot 以及少量样本情况下语言模型的性能，并通过大规模实验表明使用多任务学习的实时递归预训练策略可将零 - shot 及几轮试验下的效果提高至 31% 相对性能，然而使用元学习方法的继续预训练阶段的性能不佳。我们提出了针对不同应用的具体推荐，以优化语言模型的性能。

    Oct, 2022

  • 预训练语言模型为什么比零 / 少样本学习者更好？

    本文提出了一种理论框架，以解释在零 / 少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于 perplexity 的注释无关模板选择方法，使我们能够提前预测提示性能。

    Sep, 2022

  • 面向少样本学习的模块化提示多任务预训练

    本文提出了一种名为 Multi-task Pre-trained Modular Prompt (MP2) 的方法，通过预训练可组合的 prompts 并进行选择性的激活和组合，加强 Prompt Tuning 在 few-shot learning 的应用。通过 Black-box tuning 和 Gradient descent 两种学习方式的实验，表明 MP2 在 few-shot 设置下明显优于 Prompt Tuning、Full model Tuning 以及先前的 Prompt pre-training 方法。此外，我们还证明了 MP2 可以通过学习仅有 8 个参数来实现令人惊讶的快速适应 Downstream tasks。

    Oct, 2022