ACLMay, 2024

IAPT：面向大型语言模型的指令感知提示调整

PDF
TL;DR我们提出了一种新的提示调整方法，Instruction-Aware Prompt Tuning (IAPT)，该方法只需要四个软标记，并且在具有可调参数的情况下优于最近的基准方法，并比低秩适应性 (LoRA) 在单主干多租户设置下更高效。
soft prompt tuningparameter-efficientlow-rank adaptationlarge language modelinginstruction-aware prompt tuning
发现论文，激发创造
  • 用于视觉语言预训练模型的近似提示调优

    本研究提出了一种名为 “Approximated Prompt Tuning” 的方法，用以提高视觉语言预训练模型的迁移学习效率，其基于软提示令牌的独立信息扩散步骤，从而有效地避免了昂贵的全局关注建模，并显著降低了计算复杂度。

    Jun, 2023

  • 注意力提示调整：参数高效的预训练模型适应时空建模

    通过在 transformer 模块的键和值中直接插入提示信息，我们提出了注意力提示调整（Attention Prompt Tuning，APT）方法，从而在视频行为识别中大大减少了浮点运算和延迟，并在 UCF101、HMDB51 和 SSv2 数据集上实现了显著的性能提升。

    Mar, 2024

  • 预训练语言模型的实例级提示调整

    本文提出了 Instance-wise Prompt Tuning （IPT）方法，该方法是基于 Prompt Learning 的新型范式，利用输入数据实例注入知识来生成更富有信息量和具体的上下文信息，并在多个任务和资源设置中显着优于任务为基础的 Prompt Learning 方法，达到仅有 0.5％-1.5％调整参数时的基准微调性能。

    Jun, 2022

  • INTapt: 提高非母语语音识别能力的信息理论对抗提示调整

    提出 Information Theoretic Adversarial Prompt Tuning (INTapt) 方法来解决 pre-trained speech model 表示偏差的问题，通过引入 prompts 来重新调节预训练模型的注意力，从而改善非母语英语说话者的 ASR 性能，同时增加 L2 英语口音与 L1 英语口音之间的特征相似性。

    May, 2023

  • 提示调整的普适性和限制性

    研究预训练语言模型的 prompt tuning，从通用性和有限深度固定权重的预训练 transformers 的限制方面分析了 prompt tuning 的作用，证明了 prompt tuning 在有限深度 transformers 中存在限制，并给出了所需的可调 prompt 参数的下限。

    May, 2023

  • 晚阶段调优：晚期提示可能比诸多提示更好

    该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他 PETuning 方法竞争的性能。

    Oct, 2022

  • À-la-carte Prompt Tuning (APT): 组合提示以合并不同数据

    使用基于 transformer 的方案进行 prompt 调整，实现任意组合，达到 bespoke models，维护各用户的访问权限和偏好，多次添加或删除相关 prompt 可达到记录更新，实现 Split CIFAR-100 和 CORe50 的反复学习监测，并得到最先进的效果。

    Feb, 2023

  • 关于 prompt tuning 在自然语言处理中的可迁移性

    本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

    Nov, 2021

  • 大型语言模型服务的隐私保护提示调整

    本文提出了基于响应式调整的隐私保护响应式调整（RAPT）框架，结合本地差分隐私的局部隐私设置，通过 token 重建任务与下游任务一起进行训练，旨在提供针对大型语言模型的隐私保障。实验表明，RAPT 在各种任务上均表现出优秀的性能并针对窃密者提供隐私保障。

    May, 2023

  • 多空间投影和提示融合的高效提示调整

    通过多空间投影和提示融合的方式，我们提出了一种高效的提示调整方法（EPT），旨在解决平衡准确性和效率的问题，同时提升语言模型在不同下游任务上的表现。实验结果表明，相对改进百分比高达 28.8％，训练时间减少了 14％。

    May, 2024