Sep, 2023

CAIT：面向 ViTs 的高精度、快速推理和良好可迁移性的三赢压缩

PDF
TL;DR我们提出了一种联合压缩方法，用于 Vision Transformers（ViTs），旨在提供高准确性和快速推理速度，同时保持对下游任务的有利可传输性。具体来说，我们引入了不对称的令牌合并（ATME）策略来有效集成相邻的令牌，并引入一致的动态通道修剪（CDCP）策略来动态修剪 ViTs 中的不重要通道，大大提高了模型压缩效果。在基准数据集上进行的广泛实验表明，我们的方法在各种 ViTs 上都可以达到最先进的性能。
vision transformerscompressiontoken mergingchannel pruningmodel performance
发现论文，激发创造
  • COMCAT：注重效率的基于注意力机制的视觉模型压缩和定制化

    本文提出了一种高效的 ViT 压缩解决方案，该方法基于多头注意力层的新见解开发，可用于获得紧凑的基于注意力的视觉模型，并在图像分类任务中取得比最先进的剪枝方法更高的准确性。

    May, 2023

  • 统一视觉 Transformer 压缩

    本论文提出了一种统一的 ViT 压缩框架，其中使用了修剪、跳跃层和知识蒸馏等三种有效技​​​​术，经过在 ImageNet 数据集上的实验验证，我们的方法在保证精度的前提下有效压缩 Vision Transformers，比目前已有的压缩方法表现更优。

    Mar, 2022

  • Vision Transformers 的统一剪枝框架

    该论文提出了一种名为 UP-ViTs 的统一结构修剪框架，可在保持模型一致性的同时，压缩 Vision Transformer 等模型的体积并提高模型的准确性。实验证明，UP-ViTs 在 Object Detection 等任务中取得了不俗的性能，并在 ImageNet 上超越了传统的 ViTs 模型。

    Nov, 2021

  • SPViT：通过软件 Token 剪枝加速视觉 Transformer

    通过利用输入令牌稀疏性并提出计算感知的软剪枝框架，可以大幅减少 Vision Transformer 计算成本，并满足移动设备和 FPGA 的资源规格要求，甚至在移动平台上实现 DeiT-T 的实时执行。

    Dec, 2021

  • 联合 Token 剪枝与挤压：更激进的视觉 Transformer 压缩

    采用新型 Token Pruning & Squeezing 模块（TPS）可以更高效地压缩视觉转换器，提高模型的计算速度和图像分类精度。

    Apr, 2023

  • 记忆高效的视觉变换器：一种激活感知的混合秩压缩策略

    本文提出了一种基于激活感知的模型压缩方法，通过使用不同层的低秩张量逼近来减少 Vision Transformers（ViTs）的参数数量，克服了内存限制，实现在内存受限环境中嵌入 ViTs 而不影响其性能。

    Feb, 2024

  • DualToken-ViT：具有双重令牌融合的位置感知高效视觉 Transformer

    提出了一种轻量级和高效的视觉变换模型 DualToken-ViT，它通过卷积和自注意结构有效地融合了局部信息和全局信息以实现高效的注意力结构，并使用位置感知的全局标记来丰富全局信息，并改进了图像的位置信息，通过在图像分类、物体检测和语义分割任务上进行广泛实验，展示了 DualToken-ViT 的有效性，其在 ImageNet-1K 数据集上取得了 75.4% 和 79.4% 的准确率，而在只有 0.5G 和 1.0G 的 FLOPs 下，我们的 1.0G FLOPs 的模型的性能超过了使用全局标记的 LightViT-T 模型 0.7%。

    Sep, 2023

  • 一种用于 Vision Transformer 的快速无需训练的压缩框架

    提出优化 Transformer 模型 (ViT) 部署过程中训练代价高的问题的快速无需训练压缩框架，其中包括初层的稠密特征提取器、压缩率更高的模型和利用空间关系的局部 - 全局令牌合并方法，在多个模型上实现了至多 2 倍的 FLOPS 减少和 1.8 倍的推理吞吐量提升，训练时间比现有方法节省两个数量级。

    Mar, 2023

  • ViTAS: 视觉 Transformer 架构搜索

    本文提出了 ViTAS 方法，其中使用循环权重共享机制和身份移位来解决目标嵌入的失衡问题，并辅以弱数据增强和规范化技术，以获得稳定的训练结果。实验证明，与其他常用方法相比，ViTAS 取得了极高的性能提升。

    Jun, 2021

  • HeatViT：面向视觉 Transformer 的硬件高效自适应 Token 剪枝

    本文提出了一种硬件高效的图像自适应标记修剪框架 HeatViT，以在嵌入式 FPGA 上实现高效而准确的 ViT 加速，通过显著重复利用现有硬件组件来实现标记选择器，使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块，使模型在硬件上不仅提高了准确性和推理延迟，而且还可在与现有计算成本相似的情况下获得更高的准确性或在与相似模型准确性相似的情况下实现更高的计算量减少。

    Nov, 2022