Trio-ViT：面向无 softmax 的高效视觉 Transformer 的后训练量化与加速

May, 2024

Trio-ViT：面向无 softmax 的高效视觉 Transformer 的后训练量化与加速

Trio-ViT: Post-Training Quantization and Acceleration for Softmax-Free Efficient Vision Transformer

Huihong Shi, Haikuo Shao, Wendong Mao, Zhongfeng Wang

TL;DR通过量化和加速高效 ViTs 的方法，提出了 Trio-ViT 框架，该框架在可比准确度下获得了可观的 FPS 和 DSP 效率提升，解决了 Vision Transformers 在嵌入式设备上部署困难的问题。

Abstract

Motivated by the huge success of Transformers in the field of natural language processing (NLP), vision transformers (ViTs) have been rapidly developed and achieved remarkable performance in various computer vision tasks. However, their huge model sizes and intensive computations hinde

vision transformers model compression methods quantization efficient vits trio-vit framework

发现论文，激发创造

MPTQ-ViT：VisionTransformer 的混合精度后训练量化

提出了 SmoothQuant with bias term (SQ-b) 和 optimal scaling factor ratio search (OPT-m) 方法以及一种多精度后训练量化框架 (MPTQ-ViT)，在 ImageNet 数据集上进行的实验表明，与现有方法相比，所提方法在 4 位和 5 位量化的 ViTs 上均取得了显著的准确度提高。

Jan, 2024

视觉 Transformer 模型量化和硬件加速：综述

Vision Transformers（ViTs）的模型量化和硬件加速方面进行了综合调查，探讨了 ViTs 的独特架构特性、运行时特性、模型量化的基本原则，以及用于 ViTs 的最新量化技术的比较分析。此外，还探索了量化 ViTs 的硬件加速，强调了硬件友好算法设计的重要性，并讨论了未来的挑战和研究方向。

May, 2024

Bi-ViT: 推动视觉 Transformer 量化极限

介绍一种专门用于大规模预训练模型在硬件受限设备上快速部署的量化方法，并提出一种基于可训练缩放因子和排名感知蒸馏的 Binarized ViT 模型。该方法在 ImageNet 等数据集上都取得了较高的 Top-1 准确率，并在 FLOPs 方面获得了显著的理论加速。

May, 2023

Q-ViT: 准确的、完全量化的低位视觉 Transformer

本文介绍了一种基于信息矫正模块和分布引导蒸馏方案的量化视觉变换器压缩方法，可以在 ImageNet 数据集上实现高达 80.9％的准确性，并且比全精度对应物超过 1.0％的 Top-1 精度。

Oct, 2022

FQ-ViT: 完全量化视觉 Transformer 的后训练量化

本研究开发了基于 Power-of-Two Factor（PTF）和 Log-Int-Softmax（LIS）的技术来简化全量化视觉 Transformer 的推理复杂度，并应用于各种基于 Transformer 的体系结构和基准测试中，以达到更高的性能。

Nov, 2021

P$^2$-ViT: 完全量化的视觉变换器的二次幂后训练量化和加速

Vision Transformers（ViTs）在计算机视觉任务中表现卓越，但它们在资源受限设备上的部署受到内存消耗和计算密集性的挑战。为了解决这个限制，我们提出了第一个适用于 P2-ViT 的后训练量化和加速框架，通过专门的量化方案有效量化 ViTs，并设计硬件加速器和数据流来提高效率。

May, 2024

PTQ4ViT：基于双等距量化的视觉 Transformer 后训练量化框架

本文提出了双均匀量化方法和用 Hessian 指导的指标方法来优化视觉转换器上量化的准确度，提出了一个高效的框架 PTQ4ViT，实验证明量化视觉转换器在 ImageNet 分类任务上能够实现接近无损的预测准确度（8 位量化的准确度降低小于 0.5%）。

Nov, 2021

I-ViT：整数量化优化视觉 Transformer 推理

本文提出 I-ViT 作为 Vision Transformers 的整数量化方案，在不使用浮点算数的情况下，通过整数算术和位移来完成计算图的整个计算过程，并使用 Shiftmax 和 ShiftGELU 等方法来近似非线性组件，以减少模型复杂性并提高在边缘设备上的有效性，实验结果表明整数量化达到与 FP 基线相当（甚至略高）的准确率，并且使用 TVM 在 GPU 的整数算术单元上实现了 3.72-4.11 倍的推断加速。

Jul, 2022

统一视觉 Transformer 压缩

本论文提出了一种统一的 ViT 压缩框架，其中使用了修剪、跳跃层和知识蒸馏等三种有效技术，经过在 ImageNet 数据集上的实验验证，我们的方法在保证精度的前提下有效压缩 Vision Transformers，比目前已有的压缩方法表现更优。

Mar, 2022

VAQF：面向低位视觉 Transformer 的全自动软硬件协同设计框架

本研究提出了一种名为 VAQF 的框架，该框架可以在 FPGA 平台上为量化的 ViT 模型构建推理加速器，并且可以自动输出所需的量化精度和优化参数设置，以在硬件要求下满足所需的帧速率。通过对基于 DeiT-base 模型的实验结果的评估，实现表明可以在满足 24 帧每秒的帧速率要求的情况下使用 8 位激活量化，以及在使用 6 位激活量化的情况下可以达到 30 帧每秒的目标。

Jan, 2022