面向更高参数效率的大语言模型微调：一篇立场论文

Nov, 2023

面向更高参数效率的大语言模型微调：一篇立场论文

Towards Better Parameter-Efficient Fine-Tuning for Large Language Models: A Position Paper

Chengyu Wang, Junbing Yan, Wei Zhang, Jun Huang

TL;DR该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新PEFT架构、不同学习设置的PEFT、结合模型压缩技术的PEFT以及多模态LLMs的PEFT探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕LLMs的更高效和可访问的PEFT的讨论。

Abstract

This paper delves into the pressing need in parameter-efficient fine-tuning (PEFT) for large language models (LLMs). While LLMs possess remarkable capabilities, their extensive parameter requirements and associat

发现论文，激发创造

PEFT-Ref: 一种用于参数高效微调技术的模块化参考架构和分类方法

本文提出了一个参考框架，该框架标准化了不同PEFT技术共享的方面，同时将差异隔离到特定位置和与标准组件的交互。通过标准化和隔离差异的过程，PEFT技术的模块化视图出现，既支持不同技术及其效率和任务表现的直接比较，也支持不同类型的调优模块的可重用性和组合性的系统探索。我们演示了如何应用参考框架来了解PEFT技术的属性和相对优势，因此，可以为特定任务选择技术，并为新的PEFT技术设计选择。

Apr, 2023

基于实证分析的PEFT技术在LLM中的优势和劣势

本文主要介绍了大型语言模型的fine-tuning方法——parameter-efficient fine-tuning（PEFT），并通过对FLAN-T5模型的综合测试和分析，提出了选择fine-tuning技术的最佳方法，重点考虑任务类型和数据可用性，同时指出了PEFT方法在数据过少的情况下的收敛速度慢的问题，提出了更好的model optimization方法。

Apr, 2023

预训练语言模型的参数高效微调方法：关键评估与考察

预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

Dec, 2023

大型模型的参数高效微调：综合调查

通过介绍Parameter Efficient Fine-Tuning算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

Mar, 2024

HFT: 大型语言模型的半微调

通过定期重置部分参数，半精调可以恢复一些原始知识，并且在大规模语言模型中减轻了遗忘问题，同时在一系列下游基准测试中取得了最佳性能。

Apr, 2024

多模态大语言模型参数高效微调的实证研究

使用四种常见的PEFT方法对开源MLLMs的LLM组件进行微调，比较它们在参数效率方面的表现，结果显示adapter是效果最好的PEFT方法。

Jun, 2024

专家坚持自己的领域：面向稀疏架构的专家专用微调技术

参数高效的微调（PEFT）是为了定制具有受限资源的大型语言模型（LLMs）而关键。本文研究了Mixture-of-Experts（MoE）架构的LLMs上的PEFT方法，主要工作内容包括：（1）研究定制任务中激活的专家的集中程度，发现特定任务的路由分布往往高度集中，而激活的专家分布在不同任务之间差异显著。（2）提出了专家定制微调（ESFT），该方法在冻结其他专家和模块的同时调整与下游任务最相关的专家；实验结果表明，我们的方法不仅提高了调整效率，还甚至超过了全参数微调的性能。（3）进一步分析MoE架构对专家定制微调的影响，发现具有更细粒度专家的MoE模型能更好地选择与下游任务最相关的专家组合，从而提高训练效率和效果。

Jul, 2024

逐步解锁以实现大语言模型的参数高效微调

本研究解决了在下游任务中微调大语言模型所需的高计算资源问题。我们提出了一种新的选择性参数高效微调方法ID³，能够动态评估参数重要性并平衡探索与利用，从而提高计算效率。实证研究表明，ID³在多个任务上显著优于传统的基于固定掩码的微调技术。

Aug, 2024

逐步解封高效参数微调大语言模型

本文研究了解决大语言模型微调时计算资源消耗大的问题。提出了一种名为ID³的新方法，通过动态评估参数重要性，以平衡探索与利用，对参数进行选择性微调，显著提升了微调效率与性能。研究表明，ID³能够将梯度更新次数减少一半，从而提高计算效率，并能与现有框架无缝集成。

Aug, 2024

PEDRO：基于提示依赖的参数高效微调表示修改

本研究针对大语言模型在多租户框架中的应用，提出了一种新的参数高效微调方法PEDRO。该方法通过在每个Transformer层中集成轻量级向量生成器，依据输入提示生成向量，显著提高了推理效率和下游任务的竞争表现。实验结果表明，PEDRO在相似可调参数数量下超越了现有PEFT基准，显示出重要的工业应用潜力。

Sep, 2024