本研究尝试利用 INT8/VNNI 指令量化 Transformer 模型，提高推理性能，同时保持不到 0.5% 的准确度下降。研究者在 TensorFlow 中提出了一种新的量化技术，并采用了一种并行处理技术，优化后的结果比最佳 FP32 性能提高了 1.5 倍，讨论了量化深度学习的机会和挑战，并建立了在 Intel CPU 上高效运行推理的最佳实践。

Jun, 2019

本研究提出了一种新的基于整数的 Transformer 模型量化方案 I-BERT，使用轻量级整数逼近方法进行端到端的 Bert 推理，无需浮点计算，相较于全精度基准实现在准确率上相当甚至略有提高，同时在 T4 GPU 系统上进行 8 位整数推理的速度比 32 位浮点推理快 2.4-4 倍。

Jan, 2021

我们介绍了一种新的运行时方法，可以显著减少将 BERT-like 模型量化为 8 位整数所带来的准确性损失。我们的方法允许利用量化而无需进行额外的校准步骤，我们在几个 NLP 任务上的结果表明了这种技术的实用性。

Nov, 2022

本研究提出使用整数算术（integer arithmetic）进行 BERT 模型的微调，通过改变整数位宽度，在 SQuAD 和 GLUE benchmark 数据集上验证了该方法的有效性，显示出 16 位整数 BERT 的指标性能与 16 位和 32 位浮点数基线相匹配。同时使用更快且更省内存的 8 位整数数据类型，整数微调 BERT 比 FP32 基线平均损失了 3.1 个指标点。

Sep, 2022

本研究提出一种混合精度量化策略，将 Transformer 权重表示为极低位数（例如小于 3 位），该压缩策略使得在设备上实现高效的神经机器翻译变得可行，实现了模型大小 11.8 倍的减小，内存占用减少 8.3 倍，速度提高 3.5 倍，同时 BLEU 低于 - 0.5。

Sep, 2020

本文提出了一种使用 INT4 算法进行 transformer 训练的方法，以实现低精度的前向和后向传播，并通过 Hadamard 量化器和位分裂等技术处理异常值和稀疏梯度，从而实现在当前型号 GPU 上完成快速的模型训练。

Jun, 2023

本文介绍了量化技术如何减小深度神经网络的规模，提高推理延迟和吞吐量，并评估它们在各种应用领域的不同神经网络模型上的选择，包括视觉、语音和语言等方面，并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时，还提供了一种 8 位量化工作流，能够在所有研究的网络上保持 1% 的浮点基线精度，包括更难量化的模型，如 MobileNets 和 BERT-large。

Apr, 2020

本文提出了一种名为 WAGEUBN 的统一完整量化框架，可将神经网络的数据路径（包括所有数据类型 W，A，G，E，U 和 BN）中所有数据转换为低位整数以实现全面量化和在线训练，并在 ImageNet 数据集上获得了可比较的精度，展示了在大规模 DNNs 中 8 位 INT 级别的完整量化的功能性。

Sep, 2019

本文通过对 GLUE 和 SQuAD v1.1 数据集上的 BERT 变种进行大量实验，验证了 FP8 作为一种进行后训练量化的有效方式，能够在不显著损失精度的情况下提高准确性。

Dec, 2023

本文介绍了如何在 BERT 的 fine-tuning 阶段进行量化感知的训练，以将 BERT 压缩 4 倍并加速推理速度。

Oct, 2019