Grass: 结构稀疏梯度的计算高效低内存 LLM 训练

Jun, 2024

Grass: 结构稀疏梯度的计算高效低内存 LLM 训练

Grass: Compute Efficient Low-Memory LLM Training with Structured Sparse Gradients

Aashiq Muhamed, Oscar Li, David Woodruff, Mona Diab, Virginia Smith

TL;DR本研究通过利用稀疏投影将梯度转化为结构稀疏更新，以显著降低优化器状态的内存使用，减少梯度内存占用、计算和通信成本，并实现了与全秩训练和现有投影优化方法相媲美的性能。

Abstract

large language model (LLM) training and finetuning are often bottlenecked by limited gpu memory. While existing projection-based optimization

large language model gpu memory projection-based optimization grass structured sparse updates

发现论文，激发创造

超越大小：梯度如何塑造大型语言模型的剪枝决策

预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。

Nov, 2023

Flash-LLM：使用非结构稀疏性实现成本效益高且高效的大型生成模型推断

Flash-LLM 是一种针对大型生成模型的低成本高效大规模推断框架，通过优化稀疏矩阵乘法，在高性能 Tensor Cores 上实现了显著的性能提升。

Sep, 2023

GaLore: 通过梯度低秩投影实现的内存高效 LLM 训练

通过提出 Gradient Low-Rank Projection (GaLore) 的训练策略，本研究在大规模语言模型的预训练过程中实现全参数学习，并以更高的内存效率减少了高达 65.5% 的优化器状态内存使用，同时在多项任务上保持了效率和性能，展示出在具有 24GB 内存的消费级 GPU 上（例如 NVIDIA RTX 4090）进行 7B 模型的预训练的可行性。

Mar, 2024

高稀疏性基础 Llama 模型的高效预训练和部署

通过稀疏性，我们能够以较小的模型实现更快的训练和推理加速，并且不牺牲准确性。

May, 2024

SLTrain：一种用于参数和内存高效预训练的稀疏低秩方法

通过在预训练中将权重参数化为低秩和稀疏矩阵之和，我们提出了一种称为 SLTrain 的方法，它通过矩阵分解学习低秩部分，然后使用随机固定支撑稀疏学习策略学习非零条目，这种策略显著提高了预训练性能。与低秩参数化预训练相比，SLTrain 几乎没有额外的参数和内存开销，但实现了与完全秩训练相当的性能。当与量化和逐层更新相结合时，SLTrain 可以将内存要求降低高达 73%。

Jun, 2024

无梯度结构剪枝与未标记数据

本文提出一种基于无标签数据的梯度无关结构裁剪框架，能够在不降低准确度的情况下，显著地减少预训练模型的计算成本，从而提高大型语言模型的推理效率。

Mar, 2023

基于学习的子空间投影器的通用 GPU 上超参微调 LLM 的实用卸载

通过学习稀疏压缩器和新颖的分层通信调度，我们提出了一个离线框架 LSP_Offload，能够在普通硬件上以接近原生速度进行大型语言模型的微调，从而在受限的内存条件下显著提高微调吞吐量并缩短微调时间。

Jun, 2024

FinGPT-HPC: 高性能计算在金融应用中高效地预训练和微调大型语言模型

通过利用低秩结构以及量化参数，本论文提出了一种高性能的基于 GPU 的方法用于预训练和微调大型语言模型，以实现金融应用，并取得了较快的速度和高模型压缩比，同时保持了很高的准确率。

Feb, 2024

VeLoRA：使用排序 - 1 子标记投影的内存高效训练

通过梯度下降，我们确认了大型语言模型的有效模型收敛所需的重要组件，并提出了一种廉价且内存高效的算法来进行微调和预训练大型语言模型。

May, 2024

大语言模型推理加速的稀疏微调

我们研究了大型语言模型的精确稀疏微调问题，通过引入稀疏权重在专门的任务上微调预训练的语言模型。我们提出了一种称为 SquareHead 的基于 L2 范数的蒸馏方法，能够在高稀疏率下实现准确恢复，并展示了稀疏语言模型在 CPU 和 GPU 执行中的速度提升。

Oct, 2023