该研究提出了UniPELT框架，将不同的PELT方法作为子模块，并学习通过门控机制激活最适合当前数据或任务设置的子模块。在GLUE基准测试中，UniPELT相对于其单独包含的最佳PELT方法都能够获得1-4％的收益，并甚至在不同设置下优于fine-tuning。此外，UniPELT通常超过单个子模块在每个任务上单独使用的最佳性能上界，表明多个PELT方法的混合可能本质上更有效。

Oct, 2021

提出一种名为 PASTA 的方法，只修改 Transformer 模型中每层自我注意模块前的特殊标记表示（例如 BERT 中的 [SEP] 和 [CLS]），可在只训练其总参数的 0.029％ 下，实现与全微调相当的性能，不仅提供了一种简单而有效的参数有效调整方式，而且证明了预训练语言模型中特殊标记的关键作用。

Oct, 2022

本文主要介绍了大型语言模型的fine-tuning方法——parameter-efficient fine-tuning（PEFT），并通过对FLAN-T5模型的综合测试和分析，提出了选择fine-tuning技术的最佳方法，重点考虑任务类型和数据可用性，同时指出了PEFT方法在数据过少的情况下的收敛速度慢的问题，提出了更好的model optimization方法。

Apr, 2023

该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新PEFT架构、不同学习设置的PEFT、结合模型压缩技术的PEFT以及多模态LLMs的PEFT探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕LLMs的更高效和可访问的PEFT的讨论。

Nov, 2023

预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

Dec, 2023

通过梯度投影方法，我们提出了一种新的迭代优化框架COLA，通过将学习的链式LoRA模块与预训练的语言模型参数进行融合，并为新生成的LoRA模块重新初始化优化过程，从而在无需额外的计算和内存成本的情况下弥合了LoRA和完全参数微调之间的差距。

Jan, 2024

在大语言模型时代，提高计算资源的有效利用需求变得非常重要。本文基于LoRA精调方法，引入了一种新颖的参数高效训练技术，通过频繁改变可训练参数的一部分，提高了有效的预训练。我们的方法不仅在预训练阶段实现了内存和计算开销减少，与当前最先进的参数高效算法相当，而且保持了与完全预训练相当的准确性水平。我们提供了理论分析和实证证据来证明我们的方法的有效性。

Jun, 2024

本研究解决了在下游任务中微调大语言模型所需的高计算资源问题。我们提出了一种新的选择性参数高效微调方法ID³，能够动态评估参数重要性并平衡探索与利用，从而提高计算效率。实证研究表明，ID³在多个任务上显著优于传统的基于固定掩码的微调技术。

Aug, 2024

本文研究了解决大语言模型微调时计算资源消耗大的问题。提出了一种名为ID³的新方法，通过动态评估参数重要性，以平衡探索与利用，对参数进行选择性微调，显著提升了微调效率与性能。研究表明，ID³能够将梯度更新次数减少一半，从而提高计算效率，并能与现有框架无缝集成。

Aug, 2024

本研究针对大语言模型在多租户框架中的应用，提出了一种新的参数高效微调方法PEDRO。该方法通过在每个Transformer层中集成轻量级向量生成器，依据输入提示生成向量，显著提高了推理效率和下游任务的竞争表现。实验结果表明，PEDRO在相似可调参数数量下超越了现有PEFT基准，显示出重要的工业应用潜力。

Sep, 2024