Nov, 2022

NoisyQuant：针对视觉Transformer的噪声偏置增强后训练激活量化

HTML
PDF
TL;DRNoisyQuant 是一种用于视觉变换器 post-training activation 量化性能增强的量化器不可知增强方法。它的理论是，在给定量化器的情况下，添加一个固定的均匀噪声偏差可以在可证明的条件下显着降低量化误差。基于这个理论，NoisyQuant 成功地通过添加增量噪声偏差来改变重尾激活分布并适应给定的量化器。大量实验展示了 NoisyQuant 在使视觉变换器进行 post-training quantization 时可以大幅度提高性能，而且计算成本较小。
发现论文，激发创造
  • 视觉Transformer的后训练量化

    本文介绍了一种有效的后训练量化算法，以降低视觉变换器的内存存储和计算成本，并在多个基准模型和数据集上证明了所提出的方法的有效性，在 ImageNet 数据集上使用 DeiT-B 模型可获得约 8 位量化的 81.29％ top-1 精度。

    Jun, 2021

  • PTQ4ViT：基于双等距量化的视觉Transformer后训练量化框架

    本文提出了双均匀量化方法和用 Hessian 指导的指标方法来优化视觉转换器上量化的准确度，提出了一个高效的框架 PTQ4ViT，实验证明量化视觉转换器在 ImageNet 分类任务上能够实现接近无损的预测准确度（8 位量化的准确度降低小于 0.5%）。

    Nov, 2021

  • Q-ViT: 准确的、完全量化的低位视觉Transformer

    本文介绍了一种基于信息矫正模块和分布引导蒸馏方案的量化视觉变换器压缩方法，可以在ImageNet数据集上实现高达80.9％的准确性，并且比全精度对应物超过1.0％的Top-1精度。

    Oct, 2022

  • MPTQ-ViT：VisionTransformer的混合精度后训练量化

    提出了SmoothQuant with bias term (SQ-b)和optimal scaling factor ratio search (OPT-m)方法以及一种多精度后训练量化框架(MPTQ-ViT)，在ImageNet数据集上进行的实验表明，与现有方法相比，所提方法在4位和5位量化的ViTs上均取得了显著的准确度提高。

    Jan, 2024

  • RepQuant: 基于尺度重参数化的大型Transformer模型准确的后训练量化

    提出了一种新型的后训练量化框架RepQuant，通过量化推理解耦合范式，采用复杂的量化器进行量化过程，采用简化的量化器进行推理过程，同时将量化标度重新参数化，以确保准确的量化和高效的推理，并通过集成量化权重重构进一步提高性能限制，经过广泛的实验验证在不同大规模变压器变体上在视觉、语言和多模态转换任务中取得了显著的性能优势。

    Feb, 2024

  • FrameQuant: 柔性低位量化技术用于变换器

    通过引入从谐波分析中借用的融合框架的概念，我们提出了一种简化方案来将基于Transformer的模型量化为仅使用两位（加一些开销），并只在准确性上稍有降低，通过实验证明，此方案对Transformer模型的量化几乎可以实现显著的效率提升。

    Mar, 2024

  • ADFQ-ViT: 视觉Transformer的激活分布友好的后训练量化

    提出了一种名为ADFQ-ViT的新型框架，通过引入Per-Patch Outlier-aware Quantizer、Shift-Log2 Quantizer和Attention-score enhanced Module-wise Optimization等方法，对Vision Transformers中的针对post-LayerNorm和post-GELU activations的离散化进行了改进，从而在4位情况下，在图像分类、目标检测和实例分割任务中明显提高了性能。

    Jul, 2024

  • 视觉Transformer后训练量化的错误减少

    提出了ERQ，一种两步PTQ方法，通过优化激活和权重量化，逐步减小量化误差，并在W3A4 ViT-S模型上的准确性上超过了最先进的GPTQ方法22.36%。

    Jul, 2024

  • AdaLog: 视觉Transformer的后训练量化与自适应对数量化器

    对于Vision Transformer（ViT）网络，提出了一种新的自适应对数基AdaLog量化器，以解决post-Softmax和post-GELU激活输入的不规则量化问题，并通过快速渐进式组合搜索（FPCS）策略确定最佳对数基和量化参数。在公共基准测试中，通过对各种ViT-based架构和视觉任务进行广泛实验，证明了该方法的有效性。

    Jul, 2024

  • 面向分布友好和异常值感知的后训练量化方法：DopQ-ViT

    本研究针对视觉变换器（ViTs）在后训练量化（PTQ）中面临的准确性下降问题，提出了一种新的量化方法DopQ-ViT。该方法引入了分布友好的Tan量化器（TanQ）和优化的缩放因子搜索（SOSF），有效解决了后Softmax激活的能力法则分布适应性不足和 LayerNorm 后激活的异常值影响，从而显著提升了低比特设置下的量化模型性能。

    Aug, 2024