Nov, 2023

GTP-ViT：基于图卷积传播的高效视觉 Transformer

PDF
TL;DR基于图的标记传播方法（GTP）通过将不重要的标记信息传播到与之相关性更大的标记上，从而在降低计算复杂度的同时保持了被剔除标记的重要信息，实现了高效的 Vision Transformers（ViTs）。
vision transformerstoken pruningtoken merginggraph-based token propagationcomputational complexity
发现论文，激发创造
  • 高效的视觉 Transformer 的令牌传播控制器

    使用视觉 Transformer（ViTs）处理图像问题存在显著的计算复杂度，本文提出了一种新的令牌传播控制器（TPC），通过考虑令牌分布和引入平滑机制以及模型稳定器来提高令牌利用率和模型稳定性。实验证明了该方法的有效性。

    Jan, 2024

  • SPViT：通过软件 Token 剪枝加速视觉 Transformer

    通过利用输入令牌稀疏性并提出计算感知的软剪枝框架，可以大幅减少 Vision Transformer 计算成本，并满足移动设备和 FPGA 的资源规格要求，甚至在移动平台上实现 DeiT-T 的实时执行。

    Dec, 2021

  • GPViT：一种高分辨率非分层视觉 Transformer 模型，支持群组传播

    本文提出的 Group Propagation Vision Transformer 模型是一种新颖的非分层变压器模型，旨在用于高分辨率特征的普适视觉识别，通过 Group Propagation Block 实现效率最大化，该方法在各种视觉识别任务中均取得了显著的性能提升。

    Dec, 2022

  • PPT：高效视觉 Transformer 的令牌修剪和池化

    通过在视觉 Transformer 模型中集成令牌剪枝和令牌汇聚技术，我们提出了一种名为令牌剪枝和汇聚 Transformer（PPT）的新型加速框架，通过启发式方法自适应地应对两种不同层次的冗余，有效降低模型复杂性同时保持其预测准确性。例如，PPT 在 ImageNet 数据集上使 DeiT-S 的 FLOPs 降低了 37%，吞吐量提高了 45% 以上，而没有准确性下降。

    Oct, 2023

  • GvT: 一种利用稀疏性进行训练的基于图的视觉 Transformer 模型，使用自由发挥，从头开始在小数据集上训练

    使用基于图卷积投影和图池化的图神经网络（GvT），并通过基于双线性池化特征和注意张量的稀疏选择的讲话头技术解决注意头降维问题，以及应用图池化来有效降低标记数量和聚合语义信息，实验结果表明 GvT 在小数据集上超越了卷积神经网络和预训练的视觉 Transformer 模型。

    Apr, 2024

  • 联合 Token 剪枝与挤压：更激进的视觉 Transformer 压缩

    采用新型 Token Pruning & Squeezing 模块（TPS）可以更高效地压缩视觉转换器，提高模型的计算速度和图像分类精度。

    Apr, 2023

  • 高效的视觉 Transformer 模型：动态空闲令牌策略

    为了解决 Vision Transformers 在计算资源受限环境中的高计算复杂度问题，该研究提出了 IdleViT 方法，通过动态删除图像令牌来改善计算负担，实现了性能和效率之间的卓越折中。在各个层中，IdleViT 选择参与计算的图像令牌子集，并将其余的令牌保持空闲并直接传递给该层的输出，通过在后续层重新选择空闲令牌，IdleViT 减轻了早期错误剪枝对模型性能的负面影响。该方法简单而有效，可扩展到金字塔 ViTs，因为没有完全删除的令牌。大量的实验结果表明，IdleViT 可以将预训练 ViTs 的复杂性降低高达 33％，在只进行 30 个周期的微调之后在 ImageNet 上的准确率降低不超过 0.2％。值得注意的是，在保留比例为 0.5 时，IdleViT 相比于最先进的 EViT 在 DeiT-S 上的准确率更高，且推理速度更快。

    Oct, 2023

  • HeatViT：面向视觉 Transformer 的硬件高效自适应 Token 剪枝

    本文提出了一种硬件高效的图像自适应标记修剪框架 HeatViT，以在嵌入式 FPGA 上实现高效而准确的 ViT 加速，通过显著重复利用现有硬件组件来实现标记选择器，使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块，使模型在硬件上不仅提高了准确性和推理延迟，而且还可在与现有计算成本相似的情况下获得更高的准确性或在与相似模型准确性相似的情况下实现更高的计算量减少。

    Nov, 2022

  • 多尺度和令牌合并：让您的 ViT 更高效

    本文提出一种新的 token pruning 方法，通过筛选关键词实现计算效率和模型效果的折衷，实验结果表明，该方法可显著降低计算成本，同时仅导致 0.1% 的 DeiT-S 识别精度下降。

    Jun, 2023

  • Vision Transformers 的统一剪枝框架

    该论文提出了一种名为 UP-ViTs 的统一结构修剪框架，可在保持模型一致性的同时，压缩 Vision Transformer 等模型的体积并提高模型的准确性。实验证明，UP-ViTs 在 Object Detection 等任务中取得了不俗的性能，并在 ImageNet 上超越了传统的 ViTs 模型。

    Nov, 2021