May, 2021

动态 Transformer 用于高效图像识别：并非所有图像都相当于 16x16 个单词

PDF
TL;DR本文提出了一种名为 Dynamic Transformer 的方法，通过将多个变压器级联并在测试时以自适应方式逐个激活它们，自动配置每个输入图像的适当标记数。在 ImageNet，CIFAR-10 和 CIFAR-100 上的广泛实证结果表明，我们的方法在理论计算效率和实际推理速度方面显着优于竞争基线。
vision transformersimage recognitiontokensdynamic transformercomputational efficiency
发现论文，激发创造
  • 一张图像胜过 16x16 贴片：研究基于单个像素的 Transformer 模型

    本研究发现在计算机视觉体系结构中的归纳偏置 —— 局部性的必要性存在疑问，可以通过直接将每个像素视为标记并获得高性能结果来展示像素作为标记的有效性。

    Jun, 2024

  • 一张图像胜过 16*16 个单词：规模下的图像识别变形金刚

    本文研究使用 Transformer 代替 CNN 进行图像分类，实现在计算资源少的情况下，取得比目前卷积网络更好的识别结果，从而在计算机视觉上取得突破。

    Oct, 2020

  • 适应性记号长度的视觉变换器：将长图像变短

    通过 Resizable-ViT 模型和 Token-Length Assigner 方法，在保证准确性的前提下，为每个图像分配最小的适当的 token 长度，从而加快 ViT 模型的推理速度，从而显着降低计算成本。

    Jul, 2023

  • 视觉 Transformer：面向计算机视觉的基于令牌的图像表示和处理

    本文通过使用视觉 Transformer 在语义标记空间中密集地建模标记关系并减少卷积计算量，从而在 ImageNet top-1 和 LIP，COCO-stuff 图像分割测试上表现出了显着的优势。

    Jun, 2020

  • 混合分辨率令牌化的视觉 Transformer

    本文介绍了一种新的图像标记方案 —— 混合分辨率标记 —— 以及如何使用 Quadtree 算法和新的显著性评分器构建图像的代表通量，进而实现更好的图像分类。

    Apr, 2023

  • 一幅图像对于重建与生成而言价值 32 个令牌

    这篇研究论文介绍了一种基于 Transformer 的一维令牌化方法（TiTok），其将图像令牌化为一维潜在序列，通过提供更紧凑的潜在表示形式，实现了比传统技术更高效和更有效的图像合成。

    Jun, 2024

  • Tokens-to-Token ViT: 在 ImageNet 上从头开始训练视觉 Transformer 模型

    本论文提出了一种名为 T2T-ViT 的 Tokens 转到 Tokens 的视觉变压器，用于图像分类，通过对输入图像进行递归聚合邻近的 Tokens，结合本地结构进行建模，从而提高模型训练样本效率，并减少模型参数和计算量，最终在 ImageNet 数据集上取得了优秀的表现。

    Jan, 2021

  • DynamicViT：动态 Token 稀疏化的高效视觉 Transformers

    提出了一种动态的、基于输入的 Token 稀疏化框架，通过阈值删除多余的信息元素，并通过自注意力网络的特性，使其仍然具有硬件友好性。在保证精度的同时，相比现有 CNN 和 Transformer 模型，通过分层删减 66% 的输入元素，可以大大减少 FLOPs、提高吞吐量。

    Jun, 2021

  • MSViT：用于视觉 Transformer 的动态混合尺度分词

    本文提出了一种动态混合尺度的 Vision Transformers 模式，通过引入条件门控机制，智能选择每个图像区域的最佳令牌规模进行处理，从而提高图像分类的精度和效率。

    Jul, 2023

  • 离散表示增强视觉 Transformer 的鲁棒性

    本文介绍了如何通过在 ViT 的输入层添加离散 token 的方法来提高其对全局信息的学习和对真实世界数据的泛化能力，并通过实验证明对于七个 ImageNet 鲁棒性基准测试，该改进方法能够让 ViT 的鲁棒性提高最多 12%，同时不影响在 ImageNet 上的性能表现。

    Nov, 2021