面向分布友好和异常值感知的后训练量化方法：DopQ-ViT
本文提出了双均匀量化方法和用 Hessian 指导的指标方法来优化视觉转换器上量化的准确度，提出了一个高效的框架 PTQ4ViT，实验证明量化视觉转换器在 ImageNet 分类任务上能够实现接近无损的预测准确度（8 位量化的准确度降低小于 0.5%）。
Nov, 2021
本研究开发了基于Power-of-Two Factor（PTF）和Log-Int-Softmax（LIS）的技术来简化全量化视觉Transformer的推理复杂度，并应用于各种基于Transformer的体系结构和基准测试中，以达到更高的性能。
Nov, 2021
本文介绍了一种基于信息矫正模块和分布引导蒸馏方案的量化视觉变换器压缩方法，可以在ImageNet数据集上实现高达80.9％的准确性，并且比全精度对应物超过1.0％的Top-1精度。
Oct, 2022
NoisyQuant 是一种用于视觉变换器 post-training activation 量化性能增强的量化器不可知增强方法。它的理论是，在给定量化器的情况下，添加一个固定的均匀噪声偏差可以在可证明的条件下显着降低量化误差。基于这个理论，NoisyQuant 成功地通过添加增量噪声偏差来改变重尾激活分布并适应给定的量化器。大量实验展示了 NoisyQuant 在使视觉变换器进行 post-training quantization 时可以大幅度提高性能，而且计算成本较小。
Nov, 2022
提出了一种新颖的方法I&S-ViT，用于稳定地进行ViTs的PTQ，包括引入shift-uniform-log2量化器（SULQ）和三阶段平滑优化策略（SOS），并通过对多样的视觉任务进行全面评估，证明了其在低位场景下相对于现有的ViTs PTQ方法的优越性。
Nov, 2023
提出了SmoothQuant with bias term (SQ-b)和optimal scaling factor ratio search (OPT-m)方法以及一种多精度后训练量化框架(MPTQ-ViT)，在ImageNet数据集上进行的实验表明，与现有方法相比，所提方法在4位和5位量化的ViTs上均取得了显著的准确度提高。
Jan, 2024
通过量化和加速高效ViTs的方法，提出了Trio-ViT框架，该框架在可比准确度下获得了可观的FPS和DSP效率提升，解决了Vision Transformers在嵌入式设备上部署困难的问题。
May, 2024
提出了一种名为ADFQ-ViT的新型框架，通过引入Per-Patch Outlier-aware Quantizer、Shift-Log2 Quantizer和Attention-score enhanced Module-wise Optimization等方法，对Vision Transformers中的针对post-LayerNorm和post-GELU activations的离散化进行了改进，从而在4位情况下，在图像分类、目标检测和实例分割任务中明显提高了性能。
Jul, 2024
提出了ERQ，一种两步PTQ方法，通过优化激活和权重量化，逐步减小量化误差，并在W3A4 ViT-S模型上的准确性上超过了最先进的GPTQ方法22.36%。
Jul, 2024
对于Vision Transformer（ViT）网络，提出了一种新的自适应对数基AdaLog量化器，以解决post-Softmax和post-GELU激活输入的不规则量化问题，并通过快速渐进式组合搜索（FPCS）策略确定最佳对数基和量化参数。在公共基准测试中，通过对各种ViT-based架构和视觉任务进行广泛实验，证明了该方法的有效性。
Jul, 2024