本文主要介绍了大型语言模型的fine-tuning方法——parameter-efficient fine-tuning（PEFT），并通过对FLAN-T5模型的综合测试和分析，提出了选择fine-tuning技术的最佳方法，重点考虑任务类型和数据可用性，同时指出了PEFT方法在数据过少的情况下的收敛速度慢的问题，提出了更好的model optimization方法。

Apr, 2023

该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新PEFT架构、不同学习设置的PEFT、结合模型压缩技术的PEFT以及多模态LLMs的PEFT探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕LLMs的更高效和可访问的PEFT的讨论。

Nov, 2023

通过引入PEFTDebias方法，在foundation models中使用参数高效微调(PEFT)来减轻隐含的偏见。PEFTDebias由两个主要阶段组成：上游阶段用于沿特定偏见轴获取去偏参数，下游阶段将这些参数整合到模型中，在微调过程中固定。通过在两个偏见轴（性别和种族）上的四个数据集上进行评估，我们发现用PEFT可以有效地减少下游偏见。此外，我们还展示了这些参数具有特定于轴的去偏特性，可以在各种下游任务中有效地减轻偏见。为了确保可重复性，我们公开了我们的实验代码。

Dec, 2023

AutoFT是一种基于数据驱动的方法，用于指导基础模型的微调，以优化性能和改善泛化能力。实验证明AutoFT在多个分布转移任务上表现出色，显著提高了对新的异常数据的泛化能力，并在WILDS-iWildCam和WILDS-FMoW基准测试上取得了新的最佳结果。

Jan, 2024

引入X-PEFT，一种新的参数高效微调方法，通过微调极小的紧凑张量，作为二进制掩码来自适应地选择给定适配器，从而解决适配器数量线性增加的问题，相较于传统的适配器微调，在每个配置文件的内存需求减少了10000倍，而在LaMP和GLUE任务中表现出与传统适配器微调相当或超越的效果。

Jan, 2024

通过介绍Parameter Efficient Fine-Tuning算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

Mar, 2024

评估了Parameter Efficient Fine-Tuning方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。

Apr, 2024

提出了一种新的框架，Mixture-of-PEFTs methods (MoPEFT)，它通过将三种不同的PEFT技术作为子模块，动态学习激活最适合给定数据任务设置的方法来对Segment Anything Model进行微调。在MESS基准测试中，我们对该方法进行了测试，并显示出MoPEFT在性能优化方面始终优于其他微调方法。

May, 2024

通过在参数更新中使用矩阵的稀疏组合，SVFT方法在仅使用0.006%到0.25%的可训练参数时，能够恢复高达96%的全面微调性能，超过了仅使用0.03%到0.8%的可训练参数预算恢复的最高85%性能。

May, 2024

本研究解决了现有参数效率微调技术的局限性，提出了一种新的框架MoRe，利用Monarch矩阵类进行适配器架构搜索。通过理论和实证分析，我们表明MoRe在参数效率和性能上超越了现有的最先进技术，所需参数仅为LoRA的5%。

Aug, 2024