Nov, 2023

I&S-ViT：推进 Post-Training ViTs 量化极限的包容稳定方法

PDF
TL;DR提出了一种新颖的方法 I&S-ViT，用于稳定地进行 ViTs 的 PTQ，包括引入 shift-uniform-log2 量化器（SULQ）和三阶段平滑优化策略（SOS），并通过对多样的视觉任务进行全面评估，证明了其在低位场景下相对于现有的 ViTs PTQ 方法的优越性。
vision transformerspost-training quantizationdense computational costsshift-uniform-log2 quantizerthree-stage smooth optimization strategy
发现论文，激发创造
  • MPTQ-ViT：VisionTransformer 的混合精度后训练量化

    提出了 SmoothQuant with bias term (SQ-b) 和 optimal scaling factor ratio search (OPT-m) 方法以及一种多精度后训练量化框架 (MPTQ-ViT)，在 ImageNet 数据集上进行的实验表明，与现有方法相比，所提方法在 4 位和 5 位量化的 ViTs 上均取得了显著的准确度提高。

    Jan, 2024

  • I-ViT：整数量化优化视觉 Transformer 推理

    本文提出 I-ViT 作为 Vision Transformers 的整数量化方案，在不使用浮点算数的情况下，通过整数算术和位移来完成计算图的整个计算过程，并使用 Shiftmax 和 ShiftGELU 等方法来近似非线性组件，以减少模型复杂性并提高在边缘设备上的有效性，实验结果表明整数量化达到与 FP 基线相当（甚至略高）的准确率，并且使用 TVM 在 GPU 的整数算术单元上实现了 3.72-4.11 倍的推断加速。

    Jul, 2022

  • FQ-ViT: 完全量化视觉 Transformer 的后训练量化

    本研究开发了基于 Power-of-Two Factor（PTF）和 Log-Int-Softmax（LIS）的技术来简化全量化视觉 Transformer 的推理复杂度，并应用于各种基于 Transformer 的体系结构和基准测试中，以达到更高的性能。

    Nov, 2021

  • P$^2$-ViT: 完全量化的视觉变换器的二次幂后训练量化和加速

    Vision Transformers（ViTs）在计算机视觉任务中表现卓越，但它们在资源受限设备上的部署受到内存消耗和计算密集性的挑战。为了解决这个限制，我们提出了第一个适用于 P2-ViT 的后训练量化和加速框架，通过专门的量化方案有效量化 ViTs，并设计硬件加速器和数据流来提高效率。

    May, 2024

  • Bi-ViT: 推动视觉 Transformer 量化极限

    介绍一种专门用于大规模预训练模型在硬件受限设备上快速部署的量化方法，并提出一种基于可训练缩放因子和排名感知蒸馏的 Binarized ViT 模型。该方法在 ImageNet 等数据集上都取得了较高的 Top-1 准确率，并在 FLOPs 方面获得了显著的理论加速。

    May, 2023

  • Trio-ViT：面向无 softmax 的高效视觉 Transformer 的后训练量化与加速

    通过量化和加速高效 ViTs 的方法，提出了 Trio-ViT 框架，该框架在可比准确度下获得了可观的 FPS 和 DSP 效率提升，解决了 Vision Transformers 在嵌入式设备上部署困难的问题。

    May, 2024

  • Q-ViT: 准确的、完全量化的低位视觉 Transformer

    本文介绍了一种基于信息矫正模块和分布引导蒸馏方案的量化视觉变换器压缩方法，可以在 ImageNet 数据集上实现高达 80.9％的准确性，并且比全精度对应物超过 1.0％的 Top-1 精度。

    Oct, 2022

  • Q-HyViT: 桥接块重构的混合视觉 Transformer 后训练量化

    为了解决 vision transformers 在移动设备上的高计算需求问题，我们提出了一种新的 post-training quantization 方法，成功地让 efficient hybrid vision transformers（MobileViTv1 和 MobileViTv2）的平均准确性有了显著提高（达到 7.75%），我们将在指定的网址上发布我们的代码。

    Mar, 2023

  • 视觉 Transformer 的实例感知组量化

    后训练量化（PTQ）是一种高效的模型压缩技术，它使用一个小的校准样本集对预训练的全精度模型进行量化，而无需重新训练。我们提出了一种针对视觉变换器（ViTs）的实例感知分组量化技术（IGQ-ViT），它动态地将激活图的通道分割为多个组，以使每个组内的激活具有相似的统计特性。我们的方法扩展到对令牌之间的 softmax 注意力进行量化，并通过调整每个层的组数来最小化量化模型与全精度模型之间的差异，在位运算约束下取得了良好效果。我们在图像分类、目标检测和实例分割等领域进行了广泛的实验证明了我们的方法的有效性。

    Apr, 2024

  • 变异感知视觉变换器量化

    该研究提出了一种基于知识蒸馏的变异感知量化方法，可显著提高 Vision Transformers 模型在经过量化的情况下的准确性和训练效率。

    Jul, 2023