介绍了一种高效的AdaFish算法，用于加快在低秩分解为基础的微调框架中的训练过程，该算法证明了全局收敛性和迭代/预言机复杂性，并通过数值实验与AdamW方法进行了竞争性比较。

Mar, 2024

通过使用“divide-and-share”范式并引入向量库，VB-LoRA实现了极高的参数效率同时保持与当前最先进PEFT方法相当甚至更好的性能。

May, 2024

介绍了一种新的参数高效微调方法LoRA-XS，利用奇异值分解（SVD）在参数高效微调方面取得显著的结果，特别是在较大模型上，比LoRA和VeRA等最新方法更具参数效率同时保持竞争性能。

May, 2024

通过在参数更新中使用矩阵的稀疏组合，SVFT方法在仅使用0.006%到0.25%的可训练参数时，能够恢复高达96%的全面微调性能，超过了仅使用0.03%到0.8%的可训练参数预算恢复的最高85%性能。

May, 2024

在这项研究中，我们提出了一种基于贝叶斯角度的矩阵分解和量化方法，名为B-LoRA，通过对学习到的低秩矩阵的量化级别和秩值引入先验分布，使其能够在特定任务上对预训练模型进行精细调节，找到每个低秩矩阵的最佳秩值和量化级别。通过在GLUE基准上对预训练的DeBERTaV3模型进行验证，并将其与相关基准进行比较，我们展示了该方法如何学习到最优秩的量化矩阵，相比基线方法，B-LoRA在性能上与基线相当或更好，并且减少了大约70%的总比特操作量。

Jun, 2024

本研究解决了在大规模预训练模型中，LoRA方法需要手动验证不同层级的秩值匹配不同下游任务的问题。通过奇异值分解分析层与秩之间的关系，提出了SARA方法，能够在初始化时自适应地找到适合的秩；另外，通过探索Mixture-of-SARA方法，大幅度减少参数数量，验证了方法的简单性和参数效率。

Aug, 2024

本研究解决了大规模预训练模型微调的高昂计算和内存成本问题，提出了Flat-LoRA方法，旨在寻找位于全参数空间平坦区域的低秩适应。通过随机权重扰动与贝叶斯期望损失目标相结合，Flat-LoRA在自然语言处理和图像分类任务中表现出了卓越的性能，提高了微调模型的效率和泛化能力。

Sep, 2024

本研究针对预训练模型微调过程中的资源消耗问题，提出了一种名为NEAT的非线性参数高效适应方法。NEAT通过引入轻量级神经网络，能够有效捕捉复杂的非线性结构，实现参数更新，从而在多个视觉和文本任务上显著超越现有基准。此研究为提高大模型的应用效率和性能提供了新方案。

Oct, 2024

本研究针对预训练视觉变换器在下游任务中的低秩适应矩阵适应性不足的问题，提出了一种新颖的参数高效微调方法。该方法灵感来源于奇异值分解，通过Householder变换构造正交矩阵，使适应矩阵在不同层之间可灵活变换秩，从而提升微调效果。实验结果表明，该方法在标准下游视觉任务中表现出色。

Oct, 2024

本文探讨了大型多模态模型（LMMs）的参数高效微调（PEFT）方法，尤其是前缀调优如何在保留预训练表示空间方面表现优异。研究表明，传统的调优方法如LoRA和Adapters会扭曲预训练时学习的特征表示空间，而前缀调优能更好地保持这种表示，提出的前缀调优PEFT（PT-PEFT）策略显著提升了图像描述和视觉问答任务的性能。

Oct, 2024