轻量级低精度策略用于 LLM 训练

ICMLMay, 2024

Collage: Light-Weight Low-Precision Strategy for LLM Training

Tao Yu, Gaurav Gupta, Karthick Gopalswamy, Amith Mamidala, Hao Zhou...

TL;DR低精度浮点数的训练可以通过适当的误差补偿在关键位置以提供良好的性能，Collage 方法使用多组分浮点表示来准确计算带有数值误差的操作，并且通过调用新的度量方法能够追踪训练期间丢失的信息，同时针对不同的精度策略进行区分。实验结果表明，使用 Collage 进行预训练可以去除使用 32 位浮点数副本的要求，并在实践中实现与 (16, 32) 位混合精度策略相似或更好的训练性能，加速了高达 3.7 倍，内存使用量减少了约 15％至 23％。

Abstract

large models training is plagued by the intense compute cost and limited hardware memory. A practical solution is low-precision representation but is troubled by loss in numerical accuracy and unstable training r

large models training low-precision representation collage numerical errors low-precision floating points

发现论文，激发创造

从 FP8 回到 FP 减少精度对 LLM 训练稳定性的效果量化

降低精度的浮点表示在大型语言模型（LLM）训练中的稳定性及经济性的调查和分析。

May, 2024

使用 8 位浮点数进行混合精度训练

本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

May, 2019

混合精度训练

介绍了一种使用半精度浮点数训练深度神经网络的技术，通过减少内存消耗和利用未来处理器的半精度硬件单元，大幅提高模型训练的计算速度。

Oct, 2017

低精度训练中的内存与误差权衡

本文提出一种基于 Pareto 估计的技术 (Pareto Estimation to Pick the Perfect Precision，PEPPP)，使用矩阵分解来查找非支配配置 (即 Pareto 前沿)，以在有限数量的网络评估下找到最小化错误的精度，从而解决低精度算术训练深度学习模型中的超参数调节问题。

Jun, 2021

有限数值精度下的深度学习

该研究探讨有限精度数据表示和计算对神经网络训练的影响，并通过使用随机舍入的低精度定点计算方法在 16 位宽度的数据表示下训练深度网络来减少能量消耗并获得高分类准确性。

Feb, 2015

深度神经网络有界内存的降低精度策略

该研究考虑了使用不同精度数据的卷积神经网络对其分类准确性的影响，发现误差容限不仅在不同网络之间有差异，而且在网络内部也有变化；进一步提出了一种方法，可以找到网络的低精度配置，同时保持高准确性。研究表明，相对于在所有层中使用 32 位浮点表示的传统实现，数据足迹可以平均减少 74％，最高可降至 92％，而相对准确性损失不到 1％。

Nov, 2015

通过随机化实现少量 RAM 的大规模学习

采用随机化分离技术，将权重向量投影到粗离散集上，从而将流行的大规模在线学习方法的内存占用量降低 50% 以上；采用随机计数可以实现每个坐标单独的学习速率，具有很好的内存性能表现。这些内存节省方法的效果与精确的变体相当，且实验证明这些方法在内存与精度的权衡方面具有出色的性能。

Mar, 2013

多精度策略加强训练（MuPPET）：一种量化定点卷积神经网络训练的精度切换策略

该研究使用 MuPPET，采用多种精度表示来控制训练过程，结合硬件支持，采用量子化训练的方法，以实现卷积神经网络的高效训练。MuPPET 可利用硬件架构的能力，在训练 AlexNet、ResNet18 和 GoogLeNet 时，获得 1.84 倍的训练时间加速和 1.58 倍的平均加速，而不会导致准确率下降。

Jun, 2020

使用 8 位浮点数训练深度神经网络

本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

Dec, 2018

FP8-LM：训练 FP8 大型语言模型

我们探索了 FP8 低位数据格式以实现大规模语言模型（LLM）的高效训练。我们提出了一种新的 FP8 自动混合精度框架，可以在递增的方式下渐进地应用 8 位梯度、优化器状态和分布式学习。实验证明，在 H100 GPU 平台上使用我们的 FP8 混合精度训练框架，与广泛采用的 BF16 框架相比，GPT-175B 模型的训练不仅可以实现 42% 的实际内存使用降低，而且运行速度比 Nvidia Transformer Engine 快 64%，超过其 17%。此外，我们的 FP8 混合精度训练方法具有通用性，可以无缝应用于 LLM 指导调优、带有人类反馈的强化学习等任务，节省了微调开销。

Oct, 2023