本文通过一系列超过 1.8k 个控制实验，对少样本图像分类的 PEFT（参数效率微调）方法进行了大规模、实验一致的经验分析，发现只微调层归一化参数及学习一组每个注意力矩阵的缩放参数的方法，成为 Vision Transformer 预训练模型最强大的微调方法。此外，对于自监督 ViTs，我们发现仅学习每个注意力矩阵的缩放参数和一个 Domain-residual adapter（DRA）模块即可实现无与伦比的性能表现，而模型可参数化程度更高。

Apr, 2023

本文系统概述和比较了 40 多篇发表于 2019 年 2 月至 2023 年 2 月之间的参数高效微调方法，这些方法旨在通过仅训练小量参数来解决微调大型语言模型的不可行性和不实用性，提供了一种包括多种方法的分类方法，并重点关注实际效率和微调超大规模语言模型。

Mar, 2023

通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

Dec, 2023

本文研究预训练模型在下游任务中的迁移方法，发现在预训练特征优秀且分布偏移较大的情况下，与全微调相比，线性探针能够获得更好的模型鲁棒性，同时，我们证明以固定或随机线性层初始化的全微调方法会导致模型在分布偏移下的错误率明显上升，而线性探针再进行全微调的策略则能够优化这一问题。

Feb, 2022

大型语言模型 (Large Language Models) 在指令或人类反馈方面很难进行全面的微调，但参数高效稀疏微调 (sparse fine-tuning) 的方法已经在性能上取得了一定的成果，本文将稀疏微调方法扩展到像 LLaMA 2 7B 和 13B 这样的最先进的 LLMs，实验证明对指令调整进行稀疏微调通常比流行的参数高效微调方法如 LoRA 表现更好，并且在运行时间上可比较。

Jan, 2024

通过 Salient Channel Tuning 方法，在只添加 0.11M 参数的情况下，对低数据资源情景中的 18 项任务以及其他领域泛化和少样本学习任务进行了实验，结果表明该调优技术在低数据情况下具有强大的能力和效果。

Sep, 2023

本研究提出一种基于模型不同层次具有语言知识定位的 PEFT 方法，称为 Stratified Progressive Adaptation Fine-tuning（SPAFIT）。我们在 GLUE 基准测试中进行的实验证明，我们的 SPAFIT 方法在仅微调其他方法调整参数的一小部分情况下，优于其他 PEFT 方法。

Apr, 2024

利用渐变参数选择技术（GPS）来进行参数有效的微调，以提高预训练模型的性能，并证明与全模型微调方法相比，只调整预训练模型中的少数参数并保持其余参数冻结可以实现类似或更好的性能，同时不引入额外的参数和计算成本，并在多个任务中表现出更好的性能。

Dec, 2023

利用奇异值分解对预训练参数矩阵进行精细调整的高效参数微调方法提供了对现有方法调整动态的洞察，通过残差设计确保新参数不会过度偏离预训练模型，实验结果表明，这种方法在各种下游图像分类任务中实现了竞争性的性能，并且保持了可比较的新参数。

Mar, 2024

通过在预训练基础模型中应用平衡的边界 Softmax 和解耦式标签平滑，FineSSL 提供了一种新的半监督学习方法，显著改善了现有方法的性能问题，并在多个基准数据集上达到了新的最先进水平，降低了训练成本超过六倍，可以无缝集成各种微调和现代半监督学习算法。

May, 2024