Vision Transformers（ViTs）的模型量化和硬件加速方面进行了综合调查，探讨了 ViTs 的独特架构特性、运行时特性、模型量化的基本原则，以及用于 ViTs 的最新量化技术的比较分析。此外，还探索了量化 ViTs 的硬件加速，强调了硬件友好算法设计的重要性，并讨论了未来的挑战和研究方向。

May, 2024

本文介绍了一种基于信息矫正模块和分布引导蒸馏方案的量化视觉变换器压缩方法，可以在 ImageNet 数据集上实现高达 80.9％的准确性，并且比全精度对应物超过 1.0％的 Top-1 精度。

Oct, 2022

本文介绍了一种有效的后训练量化算法，以降低视觉变换器的内存存储和计算成本，并在多个基准模型和数据集上证明了所提出的方法的有效性，在 ImageNet 数据集上使用 DeiT-B 模型可获得约 8 位量化的 81.29％ top-1 精度。

Jun, 2021

提出了 SmoothQuant with bias term (SQ-b) 和 optimal scaling factor ratio search (OPT-m) 方法以及一种多精度后训练量化框架 (MPTQ-ViT)，在 ImageNet 数据集上进行的实验表明，与现有方法相比，所提方法在 4 位和 5 位量化的 ViTs 上均取得了显著的准确度提高。

Jan, 2024

介绍一种专门用于大规模预训练模型在硬件受限设备上快速部署的量化方法，并提出一种基于可训练缩放因子和排名感知蒸馏的 Binarized ViT 模型。该方法在 ImageNet 等数据集上都取得了较高的 Top-1 准确率，并在 FLOPs 方面获得了显著的理论加速。

May, 2023

为了解决 vision transformers 在移动设备上的高计算需求问题，我们提出了一种新的 post-training quantization 方法，成功地让 efficient hybrid vision transformers（MobileViTv1 和 MobileViTv2）的平均准确性有了显著提高（达到 7.75%），我们将在指定的网址上发布我们的代码。

Mar, 2023

本文提出了一种基于 patch 的混合精度量化方法，用于 ViTs 神经网络的高效推理，通过引入轻量级全局度量并采用帕累托前沿法自动分配最佳的位精度来减少搜索成本。实验证明这种方法大大减少了搜索成本，使混合精度量化应用于 ViTs 变得容易。

May, 2023

本文提出了双均匀量化方法和用 Hessian 指导的指标方法来优化视觉转换器上量化的准确度，提出了一个高效的框架 PTQ4ViT，实验证明量化视觉转换器在 ImageNet 分类任务上能够实现接近无损的预测准确度（8 位量化的准确度降低小于 0.5%）。

Nov, 2021

本论文提出了一种名为 BinaryViT 的方法，通过引入梯度正则化方案和激活偏移模块解决了 Vision Transformers 全量二值化所面临的性能降低和信息失真问题，使得其在计算和存储资源受限的设备上也能有更好的运行表现。

May, 2023

ViT-1.58b 是一种新的 1.58-bit 量化的视觉 Transformer 模型，通过三值量化的方式来平衡效率和准确性，实现了在存储和计算开销方面的高效扩展。实验证明，ViT-1.58b 与全精度 ViT 相比，在减少存储使用和计算成本方面取得了显著的成果，从而突出了极端量化技术在开发可持续的人工智能解决方案方面的潜力，并为实际应用中高效模型部署的广泛讨论做出了贡献。

Jun, 2024