CVPRNov, 2022

NoisyQuant：针对视觉 Transformer 的噪声偏置增强后训练激活量化

PDF
TL;DRNoisyQuant 是一种用于视觉变换器 post-training activation 量化性能增强的量化器不可知增强方法。它的理论是，在给定量化器的情况下，添加一个固定的均匀噪声偏差可以在可证明的条件下显着降低量化误差。基于这个理论，NoisyQuant 成功地通过添加增量噪声偏差来改变重尾激活分布并适应给定的量化器。大量实验展示了 NoisyQuant 在使视觉变换器进行 post-training quantization 时可以大幅度提高性能，而且计算成本较小。
vision transformerspost-training quantizationnoisyquantactivation distributionimagenet
发现论文，激发创造
  • PTQ4ViT：基于双等距量化的视觉 Transformer 后训练量化框架

    本文提出了双均匀量化方法和用 Hessian 指导的指标方法来优化视觉转换器上量化的准确度，提出了一个高效的框架 PTQ4ViT，实验证明量化视觉转换器在 ImageNet 分类任务上能够实现接近无损的预测准确度（8 位量化的准确度降低小于 0.5%）。

    Nov, 2021

  • 视觉 Transformer 的后训练量化

    本文介绍了一种有效的后训练量化算法，以降低视觉变换器的内存存储和计算成本，并在多个基准模型和数据集上证明了所提出的方法的有效性，在 ImageNet 数据集上使用 DeiT-B 模型可获得约 8 位量化的 81.29％ top-1 精度。

    Jun, 2021

  • MPTQ-ViT：VisionTransformer 的混合精度后训练量化

    提出了 SmoothQuant with bias term (SQ-b) 和 optimal scaling factor ratio search (OPT-m) 方法以及一种多精度后训练量化框架 (MPTQ-ViT)，在 ImageNet 数据集上进行的实验表明，与现有方法相比，所提方法在 4 位和 5 位量化的 ViTs 上均取得了显著的准确度提高。

    Jan, 2024

  • Q-HyViT: 桥接块重构的混合视觉 Transformer 后训练量化

    为了解决 vision transformers 在移动设备上的高计算需求问题，我们提出了一种新的 post-training quantization 方法，成功地让 efficient hybrid vision transformers（MobileViTv1 和 MobileViTv2）的平均准确性有了显著提高（达到 7.75%），我们将在指定的网址上发布我们的代码。

    Mar, 2023

  • QuantTune: 自适应异常值驱动的模型量化优化

    我们的研究着重于发现 Transformer-based 模型在后训练线性量化过程中准确性下降的潜在原因，并提出了一种适用于量化的微调方法 QuantTune。该方法通过根据异常激活的偏差调整权重，有效控制了有问题激活的动态范围，从而在几种 Transformer-based 模型中实现了显著的后训练量化的改进。

    Mar, 2024

  • Q-DiT：扩散变压器的准确后训练量化

    Q-DiT 是一种结合了精细化量化、自动搜索策略和动态激活量化的方法，用于处理 Diffusion Transformer（DiT）模型中的权重和激活的巨大变化，以实现高效、高质量的量化和图像生成。

    Jun, 2024

  • FQ-ViT: 完全量化视觉 Transformer 的后训练量化

    本研究开发了基于 Power-of-Two Factor（PTF）和 Log-Int-Softmax（LIS）的技术来简化全量化视觉 Transformer 的推理复杂度，并应用于各种基于 Transformer 的体系结构和基准测试中，以达到更高的性能。

    Nov, 2021

  • EasyQuant: 通过尺度优化进行后训练量化

    本文提出一种名为 EasyQuant (EQ) 的简单有效的后训练量化方法，通过尺度优化来获得类似于基于训练方法的精度。具体地，我们针对卷积输出的所有层交替优化权重和激活的规模，以进一步获取高量化精度。然后，我们将位宽降低到 INT7，同时采用 INT16 中间存储和整数 Winograd 卷积实现加速推断。各种计算机视觉任务的实验结果表明，EQ 优于 TensorRT 方法，并且在经过 7 位宽后训练可达到接近 INT8 的精度。

    Jun, 2020

  • ZeroQuant: 大规模 Transformer 的高效和实惠的后训练量化

    本研究提出了一种有效而实惠的后训练量化方法，ZeroQuant，用于压缩大型 Transformer-based 模型。ZeroQuant 采用细粒度硬件友好量化、层内知识蒸馏算法、优化的量化系统等三个主要组成部分，能够在尽可能减少精度损失的情况下实现模型压缩和性能提升。

    Jun, 2022

  • 视觉 Transformer 的实例感知组量化

    后训练量化（PTQ）是一种高效的模型压缩技术，它使用一个小的校准样本集对预训练的全精度模型进行量化，而无需重新训练。我们提出了一种针对视觉变换器（ViTs）的实例感知分组量化技术（IGQ-ViT），它动态地将激活图的通道分割为多个组，以使每个组内的激活具有相似的统计特性。我们的方法扩展到对令牌之间的 softmax 注意力进行量化，并通过调整每个层的组数来最小化量化模型与全精度模型之间的差异，在位运算约束下取得了良好效果。我们在图像分类、目标检测和实例分割等领域进行了广泛的实验证明了我们的方法的有效性。

    Apr, 2024