提出了一种基于新颖的 Ladder Side-Tuning (LST) 的参数高效转移学习技术，其不需要通过 backbone 网络进行反向传播，而只需通过侧网络和梯子连接进行反向传播，从而实现了更高的存储效率，同时在自然语言处理（NLP）和视觉 - 语言（VL）任务上取得了更高的准确度、更高的存储效率。

Jun, 2022

通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

Dec, 2023

通过引入中间的预训练阶段，我们提出了一种新方法来增加预训练模型的参数效率，该方法通过低秩逼近来压缩原始的大模型，并设计了特征蒸馏模块和权重扰动正则化模块，以增强低秩模型。这种方法在保持基本架构的最小修改的同时，在所需参数和计算时间方面同时实现了效率，通常将原始参数大小减少 1/3 至 2/3，并降低约 0.6 个性能点。

Oct, 2023

提出了一种用于医学图像分类的精细化提示调整（FPT）的参数高效调整方法，FPT 相较于其他参数高效调整方法明显降低了内存消耗，并通过引入精细化提示和重要标记选择等技术降低了训练成本和内存需求。

Mar, 2024

提出一种新的参数高效微调方法 (AFLoRA)，通过冻结权重张量并添加平行的可训练低秩矩阵路径 (down-projection 和 up-projection 矩阵)，在微调过程中根据冻结得分逐渐冻结投影矩阵，以减少计算量并减轻过拟合，实验证明与 GLUE 基准相比，可以达到最先进的性能，平均性能提高了 0.85%，同时平均可训练参数减少了 9.5 倍，并且与类似的参数高效微调方法相比速度提高了 1.86 倍。提供了 LoRA 路径在不同模块的可训练性要求以及投影矩阵的冻结时间表的见解。

Mar, 2024

评估了 Parameter Efficient Fine-Tuning 方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。

Apr, 2024

本文提出了一个名为 LoRAPrune 的统一框架，旨在实现高性能的大规模预训练模型的高效微调和部署，其中使用了 PEFT 感知的剪枝标准和基于 Low-Rank Adaption（LoRA）的梯度值和梯度的重要性估计，通过迭代剪枝过程以最大化 PEFT 的优点来删除冗余参数，实现了高精度和高压缩比的目标。实验结果表明，我们的方法在各个任务中都达到了最先进的结果，并且在 VTAB-1k 基准测试中，使用可训练参数的仅 0.76％，产生的平均 Top-1 准确率比幅度和移动剪枝方法高 5.7％和 4.3％，在保留微调优点的同时实现与 PEFT 方法可比较的性能。

May, 2023

通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

Mar, 2024

Sparse-Tuning 是一种新的调优范式，通过稀疏保存信息标记并合并冗余标记，提高对前景的关注并降低背景区域的计算成本，实现了对预训练的 ViT 模型进行高效的微调和推断，同时具备了现有方法无法满足的 GPU 内存和时间效率要求。

May, 2024

本研究提出了一种基于先前训练模型的视觉快速参数调整 (PVP) 框架，可有效降低由于高计算和存储成本带来的计算和存储成本，并在低数据环境下实现优异的结果，特别是在贫瘠的视觉分类领域中。

Apr, 2023