Jul, 2023

INT-FP-QSim：大型语言模型和视觉变换器的混合精度和格式

PDF
TL;DR最近大规模语言模型 (LLMs) 的兴起导致了对降低精度的 LLMs 的增加，为了解决资源限制和促进民主化进程，我们提出了 INT-FP-QSim: 一个开源模拟器，可以在不同的数值精度和格式下灵活评估 LLMs 和视觉转换器。通过我们的模拟器，我们调查了不同数值格式对 4 位权重和 4 位或 8 位激活的 LLMs 和视觉转换器性能的影响，并比较了 Adaptive Block Floating Point、SmoothQuant、GPTQ 和 RPTQ 等最近提出的方法在模型性能上的表现。我们希望 INT-FP-QSim 能够使研究人员灵活地模拟不同精度的模型，以支持进一步的 LLMs 和视觉转换器的量化研究。
large language modelsreduced precisionint-fp-qsimnumerical formatsquantization
发现论文，激发创造
  • LLM-FP4: 4 位浮点数量化变压器

    我们提出了 LLM-FP4，在训练后将大型语言模型（LLM）的权重和激活量化为 4 位浮点数值。

    Oct, 2023

  • ZeroQuant-FP: 使用浮点格式的 LLM 后训练 W4A8 量化的飞跃

    使用浮点量化在大型语言模型中表现出色，尤其是 FP8 和 FP4 的浮点数，在模型参数超过十亿时性能优势更加明显。对于权重量化来说，FP4 与 INT4 相比表现出可比、甚至更好的性能，简化了在支持 FP 的硬件上部署。对于通过权重和激活之间差异引起的精度对齐开销，我们提出了两个权重量化的缩放约束条件，对性能的影响微乎其微，与标准的 W4A8 模型相比。此外，我们还结合了低秩补偿（LoRC）策略来增强量化方法，特别适用于较小的模型。研究结果强调了浮点量化在大型语言模型中的巨大潜力，为资源受限环境中的高效部署铺平了道路。

    Jul, 2023

  • 整数还是浮点数？大语言模型低比特量化的新展望

    本研究比较研究了 INT 和 FP 低位量化在 LLMs 中的优劣，发现由于张量分布的复杂性和异质性，最优量化格式因层而异，提出了 MoFQ，这种简单易行的方法在各种任务中取得了最新的最佳结果，并且在不引入硬件开销的情况下具有显著的性能改进。

    May, 2023

  • AFPQ: 非对称浮点量化用于 LLMs

    通过使用不对称 FP 量化方法，我们提出了一种改进的量化方法，可以在大语言模型中提高准确性，且无需额外存储空间。

    Nov, 2023

  • I-LLM：针对完全量化低位大型语言模型的高效整数推断

    该研究论文通过提出一种新型的整数化后训练量化框架 (I-LLM)，解决了大语言模型在部署边缘和云设备上仍需要大量浮点运算的问题。实验证明，I-LLM 在保持准确性的前提下，可以以 W4A4 进行操作，优于其他非整数量化方法。

    May, 2024

  • FP8-LM：训练 FP8 大型语言模型

    我们探索了 FP8 低位数据格式以实现大规模语言模型（LLM）的高效训练。我们提出了一种新的 FP8 自动混合精度框架，可以在递增的方式下渐进地应用 8 位梯度、优化器状态和分布式学习。实验证明，在 H100 GPU 平台上使用我们的 FP8 混合精度训练框架，与广泛采用的 BF16 框架相比，GPT-175B 模型的训练不仅可以实现 42% 的实际内存使用降低，而且运行速度比 Nvidia Transformer Engine 快 64%，超过其 17%。此外，我们的 FP8 混合精度训练方法具有通用性，可以无缝应用于 LLM 指导调优、带有人类反馈的强化学习等任务，节省了微调开销。

    Oct, 2023

  • ZeroQuant (4+2): 通过一种基于 FP6 的新策略重新定义 LLMs 量化，用于不同的生成任务

    本研究审查了大型语言模型中的 4 位量化方法，重点关注 GPTQ 在零样本任务中的过拟合问题和限制。我们扩展了任务范围，涵盖了生成类别，如代码生成和抽象概括，发现 INT4 量化在其中显著性能不佳。然而，转向高精度格式如 FP6 却面临挑战，因为现有 AI 硬件上缺乏复杂的集成和系统加速策略导致性能较差，常被忽视。实验结果显示，FP6，即便采用粗粒度的量化方案，也能在各种算法和任务上表现出色，展示了它在准确性和多功能性方面的优势。值得注意的是，使用 FP6 量化，codestar-15B 模型在代码生成方面表现与其 FP16 对等，对于较小的模型如 406M，与摘要生成的基准模型非常接近，而 INT4 无法达到这种性能。为了更好适应各种 AI 硬件并实现最佳系统性能，我们提出了一种用于 FP6 的新颖 4+2 设计，以达到与最先进的 INT4 精细的量化相似的时延。通过我们的设计，FP6 可以成为当前 LLMs 中使用的 4 位量化方法的有希望的解决方案。

    Dec, 2023

  • 从 FP8 回到 FP 减少精度对 LLM 训练稳定性的效果量化

    降低精度的浮点表示在大型语言模型（LLM）训练中的稳定性及经济性的调查和分析。

    May, 2024

  • QPyTorch: 一个低精度算术模拟框架

    本文介绍了 QPyTorch 模拟框架，利用该框架可以方便地研究低精度训练。通过使用该框架，可以有效减小低精度训练给计算机带来的负担，以及避免硬件开发的高昂成本，从而得到效率更高的模型。

    Oct, 2019

  • INT2.1: 通过低秩适应实现误差校正的可微量化大语言模型

    本文提出了一种新的方法，使用极度节约内存的微调方法和 Low-Rank Adaptation (LoRA) 对异常进行纠正，从而显著减少了缺乏内存的大型模型的微调 VRAM 需求，并使精度达到了 INT2.1。同时，我们的方法适用于其他量化标准，如 INT3，INT4 和 INT8，为模型量化领域带来了重大的里程碑。

    Jun, 2023