Jul, 2024

LPViT：低功耗半结构化剪枝用于视觉 Transformer

PDF
TL;DR该论文介绍了一种新的块结构剪枝方法，用于解决视觉转换器的资源密集问题，通过均衡的权衡准确性和硬件加速，使其在保持高性能的同时减少资源需求。实验结果表明，该方法在不同的视觉转换器架构下通过其他剪枝方法实现了竞争性的性能，并在精度保持和功耗节省之间实现了显著的平衡。
vision transformersblock-structured pruningresource requirementshardware accelerationpower savings
发现论文，激发创造
  • Vision Transformers 的统一剪枝框架

    该论文提出了一种名为 UP-ViTs 的统一结构修剪框架，可在保持模型一致性的同时，压缩 Vision Transformer 等模型的体积并提高模型的准确性。实验证明，UP-ViTs 在 Object Detection 等任务中取得了不俗的性能，并在 ImageNet 上超越了传统的 ViTs 模型。

    Nov, 2021

  • SPViT：通过软件 Token 剪枝加速视觉 Transformer

    通过利用输入令牌稀疏性并提出计算感知的软剪枝框架，可以大幅减少 Vision Transformer 计算成本，并满足移动设备和 FPGA 的资源规格要求，甚至在移动平台上实现 DeiT-T 的实时执行。

    Dec, 2021

  • HeatViT：面向视觉 Transformer 的硬件高效自适应 Token 剪枝

    本文提出了一种硬件高效的图像自适应标记修剪框架 HeatViT，以在嵌入式 FPGA 上实现高效而准确的 ViT 加速，通过显著重复利用现有硬件组件来实现标记选择器，使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块，使模型在硬件上不仅提高了准确性和推理延迟，而且还可在与现有计算成本相似的情况下获得更高的准确性或在与相似模型准确性相似的情况下实现更高的计算量减少。

    Nov, 2022

  • 统一视觉 Transformer 压缩

    本论文提出了一种统一的 ViT 压缩框架，其中使用了修剪、跳跃层和知识蒸馏等三种有效技​​​​术，经过在 ImageNet 数据集上的实验验证，我们的方法在保证精度的前提下有效压缩 Vision Transformers，比目前已有的压缩方法表现更优。

    Mar, 2022

  • 基于 Hessian 感知显著性的全局 Vision Transformer 压缩

    本研究提出了一种称为 NViT 的基于 Hessian 的全局结构裁剪方法，能够比以往更高效地利用 ViT 模型的参数，使得 NViT-Base 在 ImageNet-1K 数据集上具备了比 DeiT-Base 更高的准确率、更低的 FLOPs 和参数数量以及更快的运行速度。

    Oct, 2021

  • COMCAT：注重效率的基于注意力机制的视觉模型压缩和定制化

    本文提出了一种高效的 ViT 压缩解决方案，该方法基于多头注意力层的新见解开发，可用于获得紧凑的基于注意力的视觉模型，并在图像分类任务中取得比最先进的剪枝方法更高的准确性。

    May, 2023

  • 在视觉 Transformer 中追求稀疏性：一次端到端的探索

    本文旨在从减小训练存储开销和推理复杂度的角度，提出一种先将 Vision transformers 稀疏化，然后再训练的方法，从而实现一定的加速效果并保持较高的精度。

    Jun, 2021

  • 基于级联视觉 Transformer 的渐进稀疏度预测剪枝

    本文提出了一种级联修剪框架，名为 CP-ViT，通过动态预测 Transformer 模型中信息含量低的部分，可以使基于 Vision transformer 的图像识别模型减少计算冗余，同时保证了很高的准确性，具有在对资源有限的移动设备上进行实际部署的多种适用性。

    Mar, 2022

  • 通过静态和动态修剪在 FPGA 上加速 ViT 推理

    提出了一种综合算法 - 硬件设计，通过同时进行静态权重剪枝和动态令牌剪枝，加速在 FPGA 上的 ViT（Vision Transformers）模型，以减少计算复杂性和模型大小。

    Mar, 2024

  • 层次视觉变形器的无数据依赖模块感知剪枝

    本研究提出了一种基于数据无关的模块感知剪枝方法（DIMAP），用于压缩层级视觉转换器。该方法通过分析信息失真来公正地比较不同层级的 “局部” 注意力权重的贡献，并且引入一种基于权重的新型度量，在不依赖于输入图像的情况下消除了对图块合并过程的依赖性。该方法在 ImageNet-1k 分类上以及不同尺寸的 Swin Transformers 上验证了其有效性和优势，在去除了 Swin-B 52.5％的 FLOPs 和 52.7％的参数时，仅降低了 0.07％的 Top-5 准确率；而在减少 Swin-S 33.2％的 FLOPs 和 33.2％的参数时，甚至可以实现比原模型更高的 0.8％相对 Top-5 准确率。

    Apr, 2024