Jul, 2024

ADFQ-ViT: 视觉Transformer的激活分布友好的后训练量化

HTML
PDF
TL;DR提出了一种名为ADFQ-ViT的新型框架，通过引入Per-Patch Outlier-aware Quantizer、Shift-Log2 Quantizer和Attention-score enhanced Module-wise Optimization等方法，对Vision Transformers中的针对post-LayerNorm和post-GELU activations的离散化进行了改进，从而在4位情况下，在图像分类、目标检测和实例分割任务中明显提高了性能。
发现论文，激发创造
  • 视觉Transformer的后训练量化

    本文介绍了一种有效的后训练量化算法，以降低视觉变换器的内存存储和计算成本，并在多个基准模型和数据集上证明了所提出的方法的有效性，在 ImageNet 数据集上使用 DeiT-B 模型可获得约 8 位量化的 81.29％ top-1 精度。

    Jun, 2021

  • PTQ4ViT：基于双等距量化的视觉Transformer后训练量化框架

    本文提出了双均匀量化方法和用 Hessian 指导的指标方法来优化视觉转换器上量化的准确度，提出了一个高效的框架 PTQ4ViT，实验证明量化视觉转换器在 ImageNet 分类任务上能够实现接近无损的预测准确度（8 位量化的准确度降低小于 0.5%）。

    Nov, 2021

  • FQ-ViT: 完全量化视觉Transformer的后训练量化

    本研究开发了基于Power-of-Two Factor（PTF）和Log-Int-Softmax（LIS）的技术来简化全量化视觉Transformer的推理复杂度，并应用于各种基于Transformer的体系结构和基准测试中，以达到更高的性能。

    Nov, 2021

  • Q-ViT: 准确的、完全量化的低位视觉Transformer

    本文介绍了一种基于信息矫正模块和分布引导蒸馏方案的量化视觉变换器压缩方法，可以在ImageNet数据集上实现高达80.9％的准确性，并且比全精度对应物超过1.0％的Top-1精度。

    Oct, 2022

  • NoisyQuant：针对视觉Transformer的噪声偏置增强后训练激活量化

    NoisyQuant 是一种用于视觉变换器 post-training activation 量化性能增强的量化器不可知增强方法。它的理论是，在给定量化器的情况下，添加一个固定的均匀噪声偏差可以在可证明的条件下显着降低量化误差。基于这个理论，NoisyQuant 成功地通过添加增量噪声偏差来改变重尾激活分布并适应给定的量化器。大量实验展示了 NoisyQuant 在使视觉变换器进行 post-training quantization 时可以大幅度提高性能，而且计算成本较小。

    Nov, 2022

  • I&S-ViT：推进Post-Training ViTs量化极限的包容稳定方法

    提出了一种新颖的方法I&S-ViT，用于稳定地进行ViTs的PTQ，包括引入shift-uniform-log2量化器（SULQ）和三阶段平滑优化策略（SOS），并通过对多样的视觉任务进行全面评估，证明了其在低位场景下相对于现有的ViTs PTQ方法的优越性。

    Nov, 2023

  • MPTQ-ViT：VisionTransformer的混合精度后训练量化

    提出了SmoothQuant with bias term (SQ-b)和optimal scaling factor ratio search (OPT-m)方法以及一种多精度后训练量化框架(MPTQ-ViT)，在ImageNet数据集上进行的实验表明，与现有方法相比，所提方法在4位和5位量化的ViTs上均取得了显著的准确度提高。

    Jan, 2024

  • P$^2$-ViT:完全量化的视觉变换器的二次幂后训练量化和加速

    Vision Transformers（ViTs）在计算机视觉任务中表现卓越，但它们在资源受限设备上的部署受到内存消耗和计算密集性的挑战。为了解决这个限制，我们提出了第一个适用于P2-ViT的后训练量化和加速框架，通过专门的量化方案有效量化ViTs，并设计硬件加速器和数据流来提高效率。

    May, 2024

  • AdaLog: 视觉Transformer的后训练量化与自适应对数量化器

    对于Vision Transformer（ViT）网络，提出了一种新的自适应对数基AdaLog量化器，以解决post-Softmax和post-GELU激活输入的不规则量化问题，并通过快速渐进式组合搜索（FPCS）策略确定最佳对数基和量化参数。在公共基准测试中，通过对各种ViT-based架构和视觉任务进行广泛实验，证明了该方法的有效性。

    Jul, 2024

  • 面向分布友好和异常值感知的后训练量化方法：DopQ-ViT

    本研究针对视觉变换器（ViTs）在后训练量化（PTQ）中面临的准确性下降问题，提出了一种新的量化方法DopQ-ViT。该方法引入了分布友好的Tan量化器（TanQ）和优化的缩放因子搜索（SOSF），有效解决了后Softmax激活的能力法则分布适应性不足和 LayerNorm 后激活的异常值影响，从而显著提升了低比特设置下的量化模型性能。

    Aug, 2024