May, 2024

视觉 Transformer 模型量化和硬件加速：综述

PDF
TL;DRVision Transformers（ViTs）的模型量化和硬件加速方面进行了综合调查，探讨了 ViTs 的独特架构特性、运行时特性、模型量化的基本原则，以及用于 ViTs 的最新量化技术的比较分析。此外，还探索了量化 ViTs 的硬件加速，强调了硬件友好算法设计的重要性，并讨论了未来的挑战和研究方向。
vision transformersvitsmodel quantizationhardware accelerationalgorithm-hardware co-design
发现论文，激发创造
  • 变异感知视觉变换器量化

    该研究提出了一种基于知识蒸馏的变异感知量化方法，可显著提高 Vision Transformers 模型在经过量化的情况下的准确性和训练效率。

    Jul, 2023

  • 视觉 Transformer 模型压缩与加速综述

    本研究通过评估四种主要的模型压缩技术：量化、低秩近似、知识蒸馏和剪枝，解决了视觉 Transformer 在计算和内存需求方面的问题，并全面实验评估了这些技术及其组合在资源受限环境中优化 ViTs 的功效，证明了这些方法在模型精度和计算效率之间取得了平衡，为边缘计算设备的广泛应用铺平了道路。

    Apr, 2024

  • Q-HyViT: 桥接块重构的混合视觉 Transformer 后训练量化

    为了解决 vision transformers 在移动设备上的高计算需求问题，我们提出了一种新的 post-training quantization 方法，成功地让 efficient hybrid vision transformers（MobileViTv1 和 MobileViTv2）的平均准确性有了显著提高（达到 7.75%），我们将在指定的网址上发布我们的代码。

    Mar, 2023

  • ViT-1.58b：1-bit 时代的移动视觉 Transformer

    ViT-1.58b 是一种新的 1.58-bit 量化的视觉 Transformer 模型，通过三值量化的方式来平衡效率和准确性，实现了在存储和计算开销方面的高效扩展。实验证明，ViT-1.58b 与全精度 ViT 相比，在减少存储使用和计算成本方面取得了显著的成果，从而突出了极端量化技术在开发可持续的人工智能解决方案方面的潜力，并为实际应用中高效模型部署的广泛讨论做出了贡献。

    Jun, 2024

  • Trio-ViT：面向无 softmax 的高效视觉 Transformer 的后训练量化与加速

    通过量化和加速高效 ViTs 的方法，提出了 Trio-ViT 框架，该框架在可比准确度下获得了可观的 FPS 和 DSP 效率提升，解决了 Vision Transformers 在嵌入式设备上部署困难的问题。

    May, 2024

  • VAQF：面向低位视觉 Transformer 的全自动软硬件协同设计框架

    本研究提出了一种名为 VAQF 的框架，该框架可以在 FPGA 平台上为量化的 ViT 模型构建推理加速器，并且可以自动输出所需的量化精度和优化参数设置，以在硬件要求下满足所需的帧速率。通过对基于 DeiT-base 模型的实验结果的评估，实现表明可以在满足 24 帧每秒的帧速率要求的情况下使用 8 位激活量化，以及在使用 6 位激活量化的情况下可以达到 30 帧每秒的目标。

    Jan, 2022

  • Q-ViT: 准确的、完全量化的低位视觉 Transformer

    本文介绍了一种基于信息矫正模块和分布引导蒸馏方案的量化视觉变换器压缩方法，可以在 ImageNet 数据集上实现高达 80.9％的准确性，并且比全精度对应物超过 1.0％的 Top-1 精度。

    Oct, 2022

  • 高效视觉变换器的调研：算法、技术和性能评测

    这篇文章首先数学上定义了使 Vision Transformer 高效的策略，描述并讨论了最先进的方法学，并分析了它们在不同应用场景下的性能。

    Sep, 2023

  • I-ViT：整数量化优化视觉 Transformer 推理

    本文提出 I-ViT 作为 Vision Transformers 的整数量化方案，在不使用浮点算数的情况下，通过整数算术和位移来完成计算图的整个计算过程，并使用 Shiftmax 和 ShiftGELU 等方法来近似非线性组件，以减少模型复杂性并提高在边缘设备上的有效性，实验结果表明整数量化达到与 FP 基线相当（甚至略高）的准确率，并且使用 TVM 在 GPU 的整数算术单元上实现了 3.72-4.11 倍的推断加速。

    Jul, 2022

  • 压缩视觉 Transformer 用于低资源视觉学习

    通过使用模型压缩技术，本研究旨在实现对视觉转换器在资源受限设备上的快速推理，以在边缘环境中将其部署在无人机上，并以最小的准确性损失，以便在监视、环境监测等领域开辟新的可能性。

    Sep, 2023