大规模语言模型的稀疏微调扩展

Jan, 2024

Scaling Sparse Fine-Tuning to Large Language Models

Alan Ansell, Ivan Vulić, Hannah Sterz, Anna Korhonen, Edoardo M. Ponti

TL;DR大型语言模型 (Large Language Models) 在指令或人类反馈方面很难进行全面的微调，但参数高效稀疏微调 (sparse fine-tuning) 的方法已经在性能上取得了一定的成果，本文将稀疏微调方法扩展到像 LLaMA 2 7B 和 13B 这样的最先进的 LLMs，实验证明对指令调整进行稀疏微调通常比流行的参数高效微调方法如 LoRA 表现更好，并且在运行时间上可比较。

Abstract

large language models (LLMs) are difficult to fully fine-tune (e.g., with instructions or human feedback) due to their sheer number of parameters. A family of parameter-efficient →

large language models sparse fine-tuning parameter-efficient state-of-the-art llms instruction-tuning

发现论文，激发创造

QFT：量子化的低资源 LLM 全参数调整

提出了一种名为 QFT 的新型量化全参数调优框架，可以实现内存高效调优而不损害性能。该框架采用高效的 Lion 优化器和整数值量化的模型状态存储方法，并提供了梯度流和参数更新方案。结果表明，QFT 将模型状态内存减少到标准解决方案的 21%，同时达到可比较的性能，例如，调优 LLaMA-7B 模型仅需 30GB 内存，一张 A6000 GPU 即可满足。

Oct, 2023

大语言模型推理加速的稀疏微调

我们研究了大型语言模型的精确稀疏微调问题，通过引入稀疏权重在专门的任务上微调预训练的语言模型。我们提出了一种称为 SquareHead 的基于 L2 范数的蒸馏方法，能够在高稀疏率下实现准确恢复，并展示了稀疏语言模型在 CPU 和 GPU 执行中的速度提升。

Oct, 2023

当扩展与 LLM 微调相遇：数据、模型和微调方法的影响

大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明，LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处，而仅考虑参数缩放的效果通常并不明显，同时最优的 finetuning 方法与任务和微调数据相关联，这些结果对于选择和开发 LLM finetuning 方法具有指导意义。

Feb, 2024

大型语言模型微调中的稀疏矩阵

通过选择稀疏子矩阵以减少计算资源开销和内存消耗，我们介绍了一种名为 Sparse Matrix Tuning (SMT) 的方法，用于填补参数有效微调（PEFT）与完全微调（FT）之间的性能差距，并在多个任务中展示了其超越了其他 PEFT 的基准方法（如 LoRA 和 DoRA），同时与 FT 相比，GPU 内存占用减少了 67%。

May, 2024

SPP：稀疏保存的参数高效微调大型语言模型

介绍了一种基于稀疏保持参数高效微调的方法，通过轻量级可学习的列和行矩阵对稀疏大语言模型的权重进行优化，保持修剪过的预训练模型的结构和稀疏性，显著提升了稀疏大语言模型的性能。

May, 2024

专注于神经元：神经元级别的大语言模型有监督微调

大型语言模型 (LLMs) 由表现出各种行为和角色的神经元构成，随着模型规模的扩大，它们变得越来越多样化。研究发现，并非所有神经元在不同的数据集上都活跃，这种稀疏性与任务特定能力呈正相关，为模型剪枝和训练效率的进展提供了基础。传统的微调方法涉及 LLMs 的所有参数，计算复杂且可能不必要。相反，参数高效的微调方法旨在减少可训练参数的数量，但它们仍在相对宏观（例如，层级）上操作。我们介绍了神经元级微调 (NeFT)，一种将参数训练的粒度细化到单个神经元，实现更精确、计算更高效的模型更新的新方法。实验结果表明，NeFT 不仅超过了全参数微调和参数高效微调的性能，还为神经元分析提供了深入洞见。

Mar, 2024

HFT: 大型语言模型的半微调

通过定期重置部分参数，半精调可以恢复一些原始知识，并且在大规模语言模型中减轻了遗忘问题，同时在一系列下游基准测试中取得了最佳性能。

Apr, 2024

无需训练的动态稀疏化：针对稀疏长模型的零训练微调

基于 Dynamic Sparse No Training (DSnoT) 的训练无关的微调方法，能够有效地提高稀疏语言模型的性能，并开拓了将稀疏性应用于大型语言模型的潜力。

Oct, 2023

精调预训练大型语言模型中的稀疏是足够的

通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

Dec, 2023

有限资源下的大型语言模型全参数微调

提出了一种名为 LOw-Memory Optimization（LOMO）的新优化器，该优化器将梯度计算和参数更新融合为一步，可以在单台机器上通过充分利用记忆方案使大型语言模型（LLMs）进行全参数微调的训练过程中降低内存使用，并成功地在一台装有 8 个 RTX 3090 的机器上对一个拥有 65B 参数的模型进行充分微调。

Jun, 2023