Outlier Suppression+: 大型语言模型的等效最佳移位和缩放准确量化

Apr, 2023

Outlier Suppression+: 大型语言模型的等效最佳移位和缩放准确量化

Outlier Suppression+: Accurate quantization of large language models by equivalent and optimal shifting and scaling

Xiuying Wei, Yunchen Zhang, Yuhang Li, Xiangguo Zhang, Ruihao Gong...

TL;DR提出一种 Outlier Suppression + 的框架，其中采用了 channel-wise shifting 技术和 scaling 操作用于消除 transformer 语言模型中的异常值，并通过实验表明该框架在 8 比特和 6 比特设置下能够在不降低性能的前提下实现近似浮点性能水平，在 4 比特 BERT 上实现了新的最优性能。

Abstract

quantization of transformer language models faces significant challenges due to the existence of detrimental outliers in →

quantization transformer language models outliers activations channel-wise shifting

发现论文，激发创造

异常值抑制：推进低比特 Transformer 语言模型的极限

本文提出了一种离群值抑制框架，包括 Gamma Migration 和 Token-Wise Clipping 两个组件，它们有效地压制了离群值，可直接使用，并将训练后 6 位 BERT 量化推到了全精度水平。

Sep, 2022

OutlierTune: 大语言模型的高效通道量化

OutlierTune 是一种针对 LLMs 激活的高效后训练量化方法，它通过预执行去量化和对称化两个组件，解决了大规模语言模型的激活量化准确性和硬件效率问题。

Jun, 2024

大语言模型中的权重量化激活异常值教训

本文提出了一种后训练量化方法，可以在不损失质量的情况下，在模型中针对 weight 使用较高的精度，大大降低了模型推理需要的 GPU 数量，实现了更高的经济性。

Jun, 2023

BiSup：大型语言模型的双向量化误差抑制

通过构建适当的优化参数空间，BiSup 利用少量的数据进行量化感知参数优化，从而抑制错误的垂直积累，并采用高精度的提示混合精度量化策略以减轻错误的水平扩散。

May, 2024

使用激活正则化减轻离群通道对于语言模型量化的影响

准确的量化是语言模型的关键问题之一，我们研究了激活量化中的异常通道现象，并提出了一种调节输入和输出的策略，通过量化感知训练和激活峰度正则化来实现精确的 4 位参数量化。与权重后训练量化相结合，我们的方法可以获得与标准精度基准相竞争的 W4A4 模型。

Apr, 2024

重新思考通道维度，以隔离大型语言模型低比特权重量化中的异常值

大型语言模型（LLMs）在各种任务中取得了显著的成功，但在小批量推断设置下（例如移动设备），有效地为 LLMs 提供服务一直是一个挑战，因为其存在着大量的内存瓶颈。本文提出了一种量化方案，即基于权重的量化，但是 sub-4 bit 量化仍然是一个挑战，因为存在大幅度的激活异常值。为了减轻不良的异常值效应，我们首先提出了 per-IC 量化，这是一种简单而有效的方法，它在每个输入通道（IC）内创建量化组，而不是传统的每个输出通道（OC）。然后，我们提出了 AdaDim，这是一种可以适应各种权重敏感性模式的多功能量化框架。通过对先前的方法进行改进，如 Round-To-Nearest 和 GPTQ，我们展示了 AdaDim 的有效性，在基础的语言建模基准测试和指导性调优的 LLMs 中都取得了显著的改进效果（在 MMLU 上最高 + 4.7%，在 HumanEval 上最高 + 10%）。

Sep, 2023

预训练中去除异常值是一餐免费午餐吗？

通过引入一个新的 softmax 函数，该方法通过处理异常值，使模型适配量化，且能成功预训练因果语言模型。

Feb, 2024

SmoothQuant：大型语言模型后训练量化的准确高效算法

SmoothQuant 是一个训练免费的精度保持、通用的后训练量化解决方案，用于大型语言模型（LLMs），通过平滑激活异常值并在权重和激活之间进行数学上等效的变换以迁移量化难度，可以实现 LLMs 的 8 位权重和激活（W8A8）量化，同时提高硬件效率，以较小的精度损失实现高达 2 倍的内存减少和 1.56 倍的加速，是一个可降低硬件成本、民主化 LLMs 的一站式解决方案。

Nov, 2022

可量化的 Transformer 模型：通过助于自注意力机制头部不做多余操作消除异常值

研究人员提出了两种 Attention 机制的变化：Clipped softmax 和 Gated attention，它们可以帮助模型学习更小的异常值。利用这些变化，模型可以进行完整的 INT8 激活量化而无需额外的努力。

Jun, 2023

规范微调：大型语言模型的高性能低位量化

在本文中，我们介绍了一种称为 norm tweaking 的技术，可以作为当前 PTQ 方法的插件使用，以实现高精度并且具有成本效益的模型压缩。通过校准数据生成和通道级距离约束来更新归一化层的权重，我们的方法在权重量化和权重与激活联合量化方面取得了显著的改进，在 2 位量化情况下甚至达到与浮点数模型相同的精度水平。我们的简单有效的方法使其在实际应用中更加实用。

Sep, 2023