Jun, 2024

ViT-1.58b：1-bit 时代的移动视觉 Transformer

PDF
TL;DRViT-1.58b 是一种新的 1.58-bit 量化的视觉 Transformer 模型，通过三值量化的方式来平衡效率和准确性，实现了在存储和计算开销方面的高效扩展。实验证明，ViT-1.58b 与全精度 ViT 相比，在减少存储使用和计算成本方面取得了显著的成果，从而突出了极端量化技术在开发可持续的人工智能解决方案方面的潜力，并为实际应用中高效模型部署的广泛讨论做出了贡献。
vision transformersvit-1.58bquantized vit modelternary quantizationextreme quantization techniques
发现论文，激发创造
  • Q-ViT: 准确的、完全量化的低位视觉 Transformer

    本文介绍了一种基于信息矫正模块和分布引导蒸馏方案的量化视觉变换器压缩方法，可以在 ImageNet 数据集上实现高达 80.9％的准确性，并且比全精度对应物超过 1.0％的 Top-1 精度。

    Oct, 2022

  • Bi-ViT: 推动视觉 Transformer 量化极限

    介绍一种专门用于大规模预训练模型在硬件受限设备上快速部署的量化方法，并提出一种基于可训练缩放因子和排名感知蒸馏的 Binarized ViT 模型。该方法在 ImageNet 等数据集上都取得了较高的 Top-1 准确率，并在 FLOPs 方面获得了显著的理论加速。

    May, 2023

  • 二值视觉 Transformer：高效和准确度的探索

    本论文提出了一种名为 BinaryViT 的方法，通过引入梯度正则化方案和激活偏移模块解决了 Vision Transformers 全量二值化所面临的性能降低和信息失真问题，使得其在计算和存储资源受限的设备上也能有更好的运行表现。

    May, 2023

  • 视觉 Transformer 模型量化和硬件加速：综述

    Vision Transformers（ViTs）的模型量化和硬件加速方面进行了综合调查，探讨了 ViTs 的独特架构特性、运行时特性、模型量化的基本原则，以及用于 ViTs 的最新量化技术的比较分析。此外，还探索了量化 ViTs 的硬件加速，强调了硬件友好算法设计的重要性，并讨论了未来的挑战和研究方向。

    May, 2024

  • 变异感知视觉变换器量化

    该研究提出了一种基于知识蒸馏的变异感知量化方法，可显著提高 Vision Transformers 模型在经过量化的情况下的准确性和训练效率。

    Jul, 2023

  • Vision Transformer 的补丁混合精度量化

    本文提出了一种基于 patch 的混合精度量化方法，用于 ViTs 神经网络的高效推理，通过引入轻量级全局度量并采用帕累托前沿法自动分配最佳的位精度来减少搜索成本。实验证明这种方法大大减少了搜索成本，使混合精度量化应用于 ViTs 变得容易。

    May, 2023

  • I-ViT：整数量化优化视觉 Transformer 推理

    本文提出 I-ViT 作为 Vision Transformers 的整数量化方案，在不使用浮点算数的情况下，通过整数算术和位移来完成计算图的整个计算过程，并使用 Shiftmax 和 ShiftGELU 等方法来近似非线性组件，以减少模型复杂性并提高在边缘设备上的有效性，实验结果表明整数量化达到与 FP 基线相当（甚至略高）的准确率，并且使用 TVM 在 GPU 的整数算术单元上实现了 3.72-4.11 倍的推断加速。

    Jul, 2022

  • 压缩视觉 Transformer 用于低资源视觉学习

    通过使用模型压缩技术，本研究旨在实现对视觉转换器在资源受限设备上的快速推理，以在边缘环境中将其部署在无人机上，并以最小的准确性损失，以便在监视、环境监测等领域开辟新的可能性。

    Sep, 2023

  • MPTQ-ViT：VisionTransformer 的混合精度后训练量化

    提出了 SmoothQuant with bias term (SQ-b) 和 optimal scaling factor ratio search (OPT-m) 方法以及一种多精度后训练量化框架 (MPTQ-ViT)，在 ImageNet 数据集上进行的实验表明，与现有方法相比，所提方法在 4 位和 5 位量化的 ViTs 上均取得了显著的准确度提高。

    Jan, 2024

  • 移动应用的视觉 Transformer：简要概述

    本文研究提出了一些专门为移动设备设计的 ViT 架构，分析了移动应用场景下 ViT 网络所面临的挑战，旨在为未来的研究方向提供基础，并选择最佳的 ViT 视觉架构以适用于移动设备。

    May, 2023