本文提出了一个参考框架，该框架标准化了不同PEFT技术共享的方面，同时将差异隔离到特定位置和与标准组件的交互。通过标准化和隔离差异的过程，PEFT技术的模块化视图出现，既支持不同技术及其效率和任务表现的直接比较，也支持不同类型的调优模块的可重用性和组合性的系统探索。我们演示了如何应用参考框架来了解PEFT技术的属性和相对优势，因此，可以为特定任务选择技术，并为新的PEFT技术设计选择。

Apr, 2023

本文主要介绍了大型语言模型的fine-tuning方法——parameter-efficient fine-tuning（PEFT），并通过对FLAN-T5模型的综合测试和分析，提出了选择fine-tuning技术的最佳方法，重点考虑任务类型和数据可用性，同时指出了PEFT方法在数据过少的情况下的收敛速度慢的问题，提出了更好的model optimization方法。

Apr, 2023

该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新PEFT架构、不同学习设置的PEFT、结合模型压缩技术的PEFT以及多模态LLMs的PEFT探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕LLMs的更高效和可访问的PEFT的讨论。

Nov, 2023

提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过LoRA、BitFit和IA3等技术，在几乎不需要可训练参数和GPU内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似LoRA的权重注入，而不需要额外的架构修改。我们的方法在COCO字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。

Dec, 2023

预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

Dec, 2023

通过介绍Parameter Efficient Fine-Tuning算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

Mar, 2024

评估了Parameter Efficient Fine-Tuning方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。

Apr, 2024

Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory usage, and comparable performance to standard PEFT.

Jun, 2024

本论文解决了在硬件资源有限的情况下，如何对大型模型进行有效微调的问题。提出了参数高效微调（PEFT）方法，通过高效调整预训练大模型的参数，以适应特定任务，减少额外参数和计算资源的需求。研究表明，PEFT方法可加速大模型在下游任务中的应用，推动其发展与创新。

Oct, 2024

本研究针对大模型在特定下游任务微调中的计算和存储成本问题，提出了参数高效微调（PEFT）的方法。PEFT通过高效调整预训练大模型的参数，降低了额外参数引入和计算资源的需求。本综述重点介绍了PEFT的基础知识、核心思想和不同算法的应用，以及未来的研究方向，旨在加速PEFT的发展与创新。

Oct, 2024