Nov, 2022

HeatViT：面向视觉 Transformer 的硬件高效自适应 Token 剪枝

PDF
TL;DR本文提出了一种硬件高效的图像自适应标记修剪框架 HeatViT，以在嵌入式 FPGA 上实现高效而准确的 ViT 加速，通过显著重复利用现有硬件组件来实现标记选择器，使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块，使模型在硬件上不仅提高了准确性和推理延迟，而且还可在与现有计算成本相似的情况下获得更高的准确性或在与相似模型准确性相似的情况下实现更高的计算量减少。
vision transformersimage-adaptive token pruningefficient accelerationhardware implementationlatency-aware multi-stage training
发现论文，激发创造
  • SPViT：通过软件 Token 剪枝加速视觉 Transformer

    通过利用输入令牌稀疏性并提出计算感知的软剪枝框架，可以大幅减少 Vision Transformer 计算成本，并满足移动设备和 FPGA 的资源规格要求，甚至在移动平台上实现 DeiT-T 的实时执行。

    Dec, 2021

  • 通过静态和动态修剪在 FPGA 上加速 ViT 推理

    提出了一种综合算法 - 硬件设计，通过同时进行静态权重剪枝和动态令牌剪枝，加速在 FPGA 上的 ViT（Vision Transformers）模型，以减少计算复杂性和模型大小。

    Mar, 2024

  • AdaViT: 面向高效视觉 Transformer 的自适应 Token

    提出了一种自适应调整视觉转换器（ViT）推理成本的方法 A-ViT，该方法基于自适应计算时间（ACT）重新表述，在不修改网络架构或推理硬件的情况下，通过自动减少处理网络的视觉转换器中的令牌数来实现此目标，并对图像分类任务性能得到了显著改进。

    Dec, 2021

  • 高效的视觉 Transformer 模型：动态空闲令牌策略

    为了解决 Vision Transformers 在计算资源受限环境中的高计算复杂度问题，该研究提出了 IdleViT 方法，通过动态删除图像令牌来改善计算负担，实现了性能和效率之间的卓越折中。在各个层中，IdleViT 选择参与计算的图像令牌子集，并将其余的令牌保持空闲并直接传递给该层的输出，通过在后续层重新选择空闲令牌，IdleViT 减轻了早期错误剪枝对模型性能的负面影响。该方法简单而有效，可扩展到金字塔 ViTs，因为没有完全删除的令牌。大量的实验结果表明，IdleViT 可以将预训练 ViTs 的复杂性降低高达 33％，在只进行 30 个周期的微调之后在 ImageNet 上的准确率降低不超过 0.2％。值得注意的是，在保留比例为 0.5 时，IdleViT 相比于最先进的 EViT 在 DeiT-S 上的准确率更高，且推理速度更快。

    Oct, 2023

  • 通过 Token 重组加速视觉 Transformer：并非所有的修补程序都是您所需的

    本论文提出了一种在 Vision Transformer 模型的前向推理过程中重新组织图像 tokens 的方法，以提高模型的计算效率和识别准确率。结果表明，该方法能够在保持相同的计算成本的前提下，提高模型的输入规模并提高模型的识别准确率。

    Feb, 2022

  • 多尺度和令牌合并：让您的 ViT 更高效

    本文提出一种新的 token pruning 方法，通过筛选关键词实现计算效率和模型效果的折衷，实验结果表明，该方法可显著降低计算成本，同时仅导致 0.1% 的 DeiT-S 识别精度下降。

    Jun, 2023

  • DualToken-ViT：具有双重令牌融合的位置感知高效视觉 Transformer

    提出了一种轻量级和高效的视觉变换模型 DualToken-ViT，它通过卷积和自注意结构有效地融合了局部信息和全局信息以实现高效的注意力结构，并使用位置感知的全局标记来丰富全局信息，并改进了图像的位置信息，通过在图像分类、物体检测和语义分割任务上进行广泛实验，展示了 DualToken-ViT 的有效性，其在 ImageNet-1K 数据集上取得了 75.4% 和 79.4% 的准确率，而在只有 0.5G 和 1.0G 的 FLOPs 下，我们的 1.0G FLOPs 的模型的性能超过了使用全局标记的 LightViT-T 模型 0.7%。

    Sep, 2023

  • Vision Transformers 的统一剪枝框架

    该论文提出了一种名为 UP-ViTs 的统一结构修剪框架，可在保持模型一致性的同时，压缩 Vision Transformer 等模型的体积并提高模型的准确性。实验证明，UP-ViTs 在 Object Detection 等任务中取得了不俗的性能，并在 ImageNet 上超越了传统的 ViTs 模型。

    Nov, 2021

  • 从标记稀疏化视角提高视觉 Transformer 的效率

    本文介绍了一种基于语义标记的 ViT 模型，可以用于图像分类以及物体检测和实例分割等任务，并通过对空间中的池化图像标记进行 attention 的方法，来取代大量的图像标记，从而实现了网络的降维升效。

    Mar, 2023

  • 基于 FPGA 的可重构卷积 - 变换器混合高效 ViT 加速器

    本研究提出了一种基于 FPGA 的加速器，用于提高 Vision Transformers 的硬件效率，其中采用了可重构的架构以支持各种操作类型，并通过时分复用和流水线数据流来降低片外数据访问成本，实验证明其在 Xilinx ZCU102 FPGA 上能够显著优于之前的工作，达到了高达 780.2 GOPS 的吞吐量和 105.1 GOPS/W 的能效比。

    Mar, 2024