预训练语言模型的参数高效微调方法：关键评估与考察
本文提出了一个参考框架，该框架标准化了不同PEFT技术共享的方面，同时将差异隔离到特定位置和与标准组件的交互。通过标准化和隔离差异的过程，PEFT技术的模块化视图出现，既支持不同技术及其效率和任务表现的直接比较，也支持不同类型的调优模块的可重用性和组合性的系统探索。我们演示了如何应用参考框架来了解PEFT技术的属性和相对优势，因此，可以为特定任务选择技术，并为新的PEFT技术设计选择。
Apr, 2023
本文主要介绍了大型语言模型的fine-tuning方法——parameter-efficient fine-tuning（PEFT），并通过对FLAN-T5模型的综合测试和分析，提出了选择fine-tuning技术的最佳方法，重点考虑任务类型和数据可用性，同时指出了PEFT方法在数据过少的情况下的收敛速度慢的问题，提出了更好的model optimization方法。
Apr, 2023
本文提出了一种内存高效的微调方法（MEFT），通过在预训练语言模型中插入适配器以保留PLM的起点并使其可逆，同时将激活内存降低到84％的完全微调水平，并在GLUE基准测试中实现与完全微调相同的分数。
Jun, 2023
该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新PEFT架构、不同学习设置的PEFT、结合模型压缩技术的PEFT以及多模态LLMs的PEFT探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕LLMs的更高效和可访问的PEFT的讨论。
Nov, 2023
对不同规模的模型以及临床决策任务的适用性进行研究，揭示大型语言模型的效果与Parameter Efficient Fine-tuning方法的关系，发现LoRA方法在各项任务和模型规模下都能保持较高的性能，专用模型在速度和训练成本上具有优越性，与大型基础语言模型相比效果更好，同时探讨了领域特定预训练与PEFT方法和模型规模之间的相互影响，以及提供最佳效率与性能平衡的因素。
Feb, 2024
本研究解决了在下游任务中微调大语言模型所需的高计算资源问题。我们提出了一种新的选择性参数高效微调方法ID³，能够动态评估参数重要性并平衡探索与利用，从而提高计算效率。实证研究表明，ID³在多个任务上显著优于传统的基于固定掩码的微调技术。
Aug, 2024
本文研究了解决大语言模型微调时计算资源消耗大的问题。提出了一种名为ID³的新方法，通过动态评估参数重要性，以平衡探索与利用，对参数进行选择性微调，显著提升了微调效率与性能。研究表明，ID³能够将梯度更新次数减少一半，从而提高计算效率，并能与现有框架无缝集成。
Aug, 2024
本论文解决了在硬件资源有限的情况下，如何对大型模型进行有效微调的问题。提出了参数高效微调（PEFT）方法，通过高效调整预训练大模型的参数，以适应特定任务，减少额外参数和计算资源的需求。研究表明，PEFT方法可加速大模型在下游任务中的应用，推动其发展与创新。
Oct, 2024
本研究针对大模型在特定下游任务微调中的计算和存储成本问题，提出了参数高效微调（PEFT）的方法。PEFT通过高效调整预训练大模型的参数，降低了额外参数引入和计算资源的需求。本综述重点介绍了PEFT的基础知识、核心思想和不同算法的应用，以及未来的研究方向，旨在加速PEFT的发展与创新。
Oct, 2024