Oct, 2023

提示和前缀微调何时有效？能力和限制的理论

PDF
TL;DR基于上下文的微调方法，包括提示、上下文学习、软提示（也称为提示微调）和前缀微调，由于能够在参数的一小部分范围内经常达到完全微调的性能，因此受到了广泛的关注。尽管这些方法在实证上取得了成功，但对于这些技术如何影响模型的内部计算和它们的表达能力限制，在理论上还知之甚少。我们证明了尽管连续的嵌入空间比离散的标记空间更具表达能力，但软提示和前缀微调与完全微调相比，在相同数量的可学习参数下是严格不具表达能力的。具体而言，基于上下文的微调不能改变内容的相对注意模式，并且只能将注意层的输出朝一个固定的方向偏置。这表明，虽然提示、上下文学习、软提示和前缀微调等技术可以有效地引出预训练模型中存在的技能，但它们无法学习需要新的注意模式的新任务。
发现论文，激发创造
  • Prefix-Tuning: 优化连续提示用于生成任务

    本文提出字首调整 (prefix-tuning)，来解决专用模型使用全量预训练语言模型的空间问题，自动学习小、定制化的向量。通过应用于自然语言生成和文本总结，仅使用 0.1% 的参数即能达到很好的性能。

    Jan, 2021

  • 论注意力在提示调整中的作用

    本文针对单层的注意力机制和上下文混合模型，探究了 Prompt-tuning 的策略，并分析了 Prompt 在梯度下降过程中学到的规律和其在上下文中的表现，最终提出了有关 Prompt-tuning 的理论解释和实验验证。

    Jun, 2023

  • 上下文学习如何帮助提示调整？

    该研究通过实验测量了几种不同的文本生成任务原始模型的表现，对比分析了几种参数有效的适应方法（如提示调整、上下文学习和指导性提示调整），并通过 IPT 探究了这些方法之间的交互作用和优缺点。

    Feb, 2023

  • P-Tuning v2: 提示调节在规模和任务上可以与微调相媲美

    通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。

    Oct, 2021

  • 多视图图对比学习的提示调优

    我们提出了一种多视角图对比学习方法，并为其设计了提示调整方法，以缩小预训练和下游任务之间的差距。

    Oct, 2023

  • 提示调整的普适性和限制性

    研究预训练语言模型的 prompt tuning，从通用性和有限深度固定权重的预训练 transformers 的限制方面分析了 prompt tuning 的作用，证明了 prompt tuning 在有限深度 transformers 中存在限制，并给出了所需的可调 prompt 参数的下限。

    May, 2023

  • 基于规模的参数高效提示微调技术的强大性

    通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相结合，这种方法比 GPT-3 的 few-shot learning 更有效，并且在语言模型规模达到 10 亿以上时，method 的表现与 model tuning 相匹敌，而且具有更好的领域转移鲁棒性。

    Apr, 2021

  • 动态提示：一种用于提示调整的统一框架

    本文提出了一种动态提示策略 (DP) 来优化 LMs 的 prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明 DP 能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

    Mar, 2023

  • 无需微调？代码智能中的提示微调实验评估

    研究表明预训练模型在很多代码智能任务中具有很好的效果，但由于不同形式的输入难以完全利用预训练模型的知识，这篇论文通过在代码智能任务中进行提示调整，探索它对模型性能和低资源情况的影响，实验表明相对于微调，提示调整在三项代码智能任务中都能实现更好的表现，特别是在低资源情况下表现更为优秀。

    Jul, 2022

  • 晚阶段调优：晚期提示可能比诸多提示更好

    该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他 PETuning 方法竞争的性能。

    Oct, 2022