ICLRFeb, 2022

通过 Token 重组加速视觉 Transformer：并非所有的修补程序都是您所需的

PDF
TL;DR本论文提出了一种在 Vision Transformer 模型的前向推理过程中重新组织图像 tokens 的方法，以提高模型的计算效率和识别准确率。结果表明，该方法能够在保持相同的计算成本的前提下，提高模型的输入规模并提高模型的识别准确率。
vision transformersself-attentionfeed-forward processimage tokenscomputational efficiency
发现论文，激发创造
  • HeatViT：面向视觉 Transformer 的硬件高效自适应 Token 剪枝

    本文提出了一种硬件高效的图像自适应标记修剪框架 HeatViT，以在嵌入式 FPGA 上实现高效而准确的 ViT 加速，通过显著重复利用现有硬件组件来实现标记选择器，使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块，使模型在硬件上不仅提高了准确性和推理延迟，而且还可在与现有计算成本相似的情况下获得更高的准确性或在与相似模型准确性相似的情况下实现更高的计算量减少。

    Nov, 2022

  • 多尺度和令牌合并：让您的 ViT 更高效

    本文提出一种新的 token pruning 方法，通过筛选关键词实现计算效率和模型效果的折衷，实验结果表明，该方法可显著降低计算成本，同时仅导致 0.1% 的 DeiT-S 识别精度下降。

    Jun, 2023

  • SkipViT：使用令牌级别的跳跃连接加速视觉变换

    我们的研究提出了一种方法来优化视觉转换器模型中不相关令牌之间的不必要交互数量，通过将它们分离并通过不同的低成本计算路径发送，同时在训练吞吐量上获得 13% 以上的提升，并在华为 Ascend910A 上维持与基准模型相同级别的分类准确性。

    Jan, 2024

  • 使视觉 Transformer 真正具有 Shift-Equivariant 性质

    提出改进的模块设计，使得 Vision Transformers 在图像分类和语义分割任务中具有真正的平移不变性，并在三个不同数据集上实现了有竞争力的性能表现。

    May, 2023

  • 从标记稀疏化视角提高视觉 Transformer 的效率

    本文介绍了一种基于语义标记的 ViT 模型，可以用于图像分类以及物体检测和实例分割等任务，并通过对空间中的池化图像标记进行 attention 的方法，来取代大量的图像标记，从而实现了网络的降维升效。

    Mar, 2023

  • SPViT：通过软件 Token 剪枝加速视觉 Transformer

    通过利用输入令牌稀疏性并提出计算感知的软剪枝框架，可以大幅减少 Vision Transformer 计算成本，并满足移动设备和 FPGA 的资源规格要求，甚至在移动平台上实现 DeiT-T 的实时执行。

    Dec, 2021

  • 高效 ViT: 带级联分组注意力的内存高效视觉 Transformer

    本研究提出一种高速的视觉 Transformer 模型 EfficientViT，通过优化 Memory-Hard Self-Attention (MHSA) 和注意力的多样性等方法，提高其内存利用率，加快模型速度，并在速度和准确性之间取得良好的平衡。

    May, 2023

  • 提升视觉 Transformer 的对抗传递性

    本研究通过提出两种攻击策略，Self-Ensemble 和 Token Refinement，充分利用了 Vision Transformers 的自注意力和组合性质来增强对抗攻击的传递性能。

    Jun, 2021

  • DualToken-ViT：具有双重令牌融合的位置感知高效视觉 Transformer

    提出了一种轻量级和高效的视觉变换模型 DualToken-ViT，它通过卷积和自注意结构有效地融合了局部信息和全局信息以实现高效的注意力结构，并使用位置感知的全局标记来丰富全局信息，并改进了图像的位置信息，通过在图像分类、物体检测和语义分割任务上进行广泛实验，展示了 DualToken-ViT 的有效性，其在 ImageNet-1K 数据集上取得了 75.4% 和 79.4% 的准确率，而在只有 0.5G 和 1.0G 的 FLOPs 下，我们的 1.0G FLOPs 的模型的性能超过了使用全局标记的 LightViT-T 模型 0.7%。

    Sep, 2023

  • Tokens-to-Token ViT: 在 ImageNet 上从头开始训练视觉 Transformer 模型

    本论文提出了一种名为 T2T-ViT 的 Tokens 转到 Tokens 的视觉变压器，用于图像分类，通过对输入图像进行递归聚合邻近的 Tokens，结合本地结构进行建模，从而提高模型训练样本效率，并减少模型参数和计算量，最终在 ImageNet 数据集上取得了优秀的表现。

    Jan, 2021