Jun, 2023

信息论软提示调整用于自然语言理解

PDF
TL;DR该研究提出了一种信息理论框架，用于将软提示调整作为最大化提示和其他模型参数（或编码表示）之间的互信息的方法，从而发展了一种更为高效、准确和稳健的软提示调整方法 InfoPrompt。
soft prompt tuningmutual informationlanguage modeltask-relevant informationfew-shot tasks
发现论文，激发创造
  • IAPT：面向大型语言模型的指令感知提示调整

    我们提出了一种新的提示调整方法，Instruction-Aware Prompt Tuning (IAPT)，该方法只需要四个软标记，并且在具有可调参数的情况下优于最近的基准方法，并比低秩适应性 (LoRA) 在单主干多租户设置下更高效。

    May, 2024

  • 动态提示：一种用于提示调整的统一框架

    本文提出了一种动态提示策略 (DP) 来优化 LMs 的 prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明 DP 能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

    Mar, 2023

  • 主动指令调整：通过对响应敏感任务进行训练来改善跨任务泛化能力

    通过基于提示不确定性的主动指导调整，本研究提出了一种新颖的框架来识别信息量大的任务，并在所选任务上主动调整模型，实验表明该方法在任务选择方面优于其他基准策略，并通过更少的训练任务实现了更好的超出分布的泛化性能。

    Nov, 2023

  • INTapt: 提高非母语语音识别能力的信息理论对抗提示调整

    提出 Information Theoretic Adversarial Prompt Tuning (INTapt) 方法来解决 pre-trained speech model 表示偏差的问题，通过引入 prompts 来重新调节预训练模型的注意力，从而改善非母语英语说话者的 ASR 性能，同时增加 L2 英语口音与 L1 英语口音之间的特征相似性。

    May, 2023

  • 提示调整的普适性和限制性

    研究预训练语言模型的 prompt tuning，从通用性和有限深度固定权重的预训练 transformers 的限制方面分析了 prompt tuning 的作用，证明了 prompt tuning 在有限深度 transformers 中存在限制，并给出了所需的可调 prompt 参数的下限。

    May, 2023

  • 贝叶斯多任务转移学习用于软提示调优

    我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

    Feb, 2024

  • 论注意力在提示调整中的作用

    本文针对单层的注意力机制和上下文混合模型，探究了 Prompt-tuning 的策略，并分析了 Prompt 在梯度下降过程中学到的规律和其在上下文中的表现，最终提出了有关 Prompt-tuning 的理论解释和实验验证。

    Jun, 2023

  • 预训练语言模型的实例级提示调整

    本文提出了 Instance-wise Prompt Tuning （IPT）方法，该方法是基于 Prompt Learning 的新型范式，利用输入数据实例注入知识来生成更富有信息量和具体的上下文信息，并在多个任务和资源设置中显着优于任务为基础的 Prompt Learning 方法，达到仅有 0.5％-1.5％调整参数时的基准微调性能。

    Jun, 2022

  • 参数高效的 Prompt 调整使得神经文本检索器具有广义性和校准性

    本文介绍了一种基于 Prompt tuning 的神经文本检索方法，通过更新其中 0.1% 的参数，能够显著提高检索模型的泛化性能，在额外引入一份包括 87 个主题的来自学术领域的数据集的情况下，证明了这种检索方法的横向主题泛化性强于传统方法。

    Jul, 2022

  • 无需微调？代码智能中的提示微调实验评估

    研究表明预训练模型在很多代码智能任务中具有很好的效果，但由于不同形式的输入难以完全利用预训练模型的知识，这篇论文通过在代码智能任务中进行提示调整，探索它对模型性能和低资源情况的影响，实验表明相对于微调，提示调整在三项代码智能任务中都能实现更好的表现，特别是在低资源情况下表现更为优秀。

    Jul, 2022