本研究聚焦于前缀调整 fine-tuning 技术，并提出了自适应前缀调整（APT）方法，结合门控机制实现对细粒度和粗粒度级别的前缀优化，实证实现了在 SuperGLUE 和 NER 数据集上的有效性和效率验证。

May, 2023

本文提出字首调整 (prefix-tuning)，来解决专用模型使用全量预训练语言模型的空间问题，自动学习小、定制化的向量。通过应用于自然语言生成和文本总结，仅使用 0.1% 的参数即能达到很好的性能。

Jan, 2021

为了简化知识导引对话系统的检索过程，本文提出了一种利用预训练语言模型中的固有知识编码的轻量级知识前缀注入方法，称为 Knowledgeable Prefix Tuning，并提出一种新颖的交互式重新参数化机制，使前缀完全与语言模型交互，并在实验中得到了成功的应用。

Jun, 2023

提出一种保持 prefix-tuning 的有效性和模块化性的鲁棒性前缀调谐方法，通过正确分类的数据作为附加前缀调谐的标准，使用语言模型的层激活来增强鲁棒性，并通过针对每个批次的额外批量级前缀来提高鲁棒性。实验证明，该方法在多个基准测试中执行对抗攻击时，在保持高准确性的前提下，大幅提高了模型的鲁棒性。

Mar, 2022

基于上下文的微调方法，包括提示、上下文学习、软提示（也称为提示微调）和前缀微调，由于能够在参数的一小部分范围内经常达到完全微调的性能，因此受到了广泛的关注。尽管这些方法在实证上取得了成功，但对于这些技术如何影响模型的内部计算和它们的表达能力限制，在理论上还知之甚少。我们证明了尽管连续的嵌入空间比离散的标记空间更具表达能力，但软提示和前缀微调与完全微调相比，在相同数量的可学习参数下是严格不具表达能力的。具体而言，基于上下文的微调不能改变内容的相对注意模式，并且只能将注意层的输出朝一个固定的方向偏置。这表明，虽然提示、上下文学习、软提示和前缀微调等技术可以有效地引出预训练模型中存在的技能，但它们无法学习需要新的注意模式的新任务。

Oct, 2023

该研究探讨了如何使用前缀调优和数据扩充技术来提高语言模型的性能，通过引入对比损失，有效改善语言模型处理经过加强后数据的能力。

Mar, 2023

本文研究了基于 Adapter 的微调方法。实验证明，对于某些具有挑战性的任务，Adapter-based tuning 方法比 fine-tuning 效果更好，并且更抗过拟合和更不敏感于学习率的变化。

Jun, 2021

本研究通过实验证明，相较于 fine-tuning 方法，prefix tuning 在面对嘈杂数据时更脆弱，会导致性能下降，特别是在噪声水平增加的数据集中，此外，prefix tuning 在许多污染方法中的 F1 得分方差比 fine-tuning 高，因此在使用这种方法处理嘈杂的数据时应谨慎。

Oct, 2022

本论文探讨了为长序列语言任务实现参数有效学习的方法，提出了一种基于前缀传播的简单且有效的方法，在校准和核注意力方面表现出优越性，并且使用的参数比前缀调整少 50%。

May, 2023

我们提出了一种个性化的图像描述框架，通过融合用户上下文以考虑个性因素并从一个冻结的大型语言模型中提取知识来减小不同语言领域之间的差距，提高了模型的效率和效果。我们的模型在 Instagram 和 YFCC100M 数据集上比现有基准模型表现出更好的结果，包括在 BLEU-4 和 CIDEr 等指标上的两倍改进。

Dec, 2023