May, 2024

LookHere: 有向注意力的视觉 Transformer 进行泛化和外推

PDF
TL;DR我们提出了一种名为 LookHere 的新方法，用于限制 2D 注意力掩码中的固定视野的注意力头，提供平移等变性，确保注意力头的多样性，并限制注意力头在外推时面临的分布偏移，从而改善图像分类、对抗攻击和校准误差的性能。该方法在 ImageNet 数据集上进行了测试，结果显示 LookHere 在高分辨率图像分类任务中表现优于当前位置编码方法 2D-RoPE。
high-resolution imagesvision transformerposition encodinglookhereextrapolation
发现论文，激发创造
  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021

  • 视觉 Transformer: 从语义分割到密集预测

    本研究首次探索视觉变换器（ViT）的全局上下文学习潜力以实现密集视觉预测，编码图像作为一系列补丁并学习全局上下文，使 ViT 可以捕获更强的长距离依赖信息，提出的分割转换器（SETR）在 ADE20K 和 Pascal Context 数据集上取得了出色表现，同时提出了一系列分层本地 - 全局转换器，架构由局部关注（在窗口内）和全局关注（跨窗口）构成，对于各种密集预测任务具有吸引人的性能

    Jul, 2022

  • 视网膜视觉变换器 (RetinaViT): 将缩放图块引入视觉变换器

    视网膜视觉转换器（RetinaViT）是从人类视觉系统中汲取灵感，将缩小版本的输入图像的补丁添加到第一个 Transformer 编码器层的输入中。实验结果表明，当在 ImageNet-1K 数据集上进行训练时，RetinaViT 相比原始的 ViT 模型获得了 3.3% 的性能提升，这可能归因于输入中低空间频率成分的包含，从而提高了捕捉结构特征的能力并将重要特征传递给更深的层次，为进一步研究垂直通路和注意模式打开了新的研究方向。

    Mar, 2024

  • 通过补丁选择实现人体姿势估计的高效视觉变换器

    提出了一种用于减少 Vision Transformers 计算复杂度的简单方法，通过选择和处理最有信息的小片段，我们将二维人体姿态估计网络的结果作为指导进行小片段的选择，实验结果表明这种方法在显著提高速度和减少计算复杂度方面非常有效，而且性能略微下降。

    Jun, 2023

  • 具有分层池化的可扩展视觉 Transformer

    本研究提出了 Hierarchical Visual Transformer (HVT) 模型，通过逐步分池视觉标记以缩短序列长度降低计算成本，从而改进了图像分类任务的性能，并在 ImageNet 和 CIFAR-100 数据集上实现了与竞争基线相比更好的结果。

    Mar, 2021

  • 视觉 Transformer 的每个阶段只需要更少的注意力

    Vision Transformers (ViTs) have revolutionized computer vision, but their computational complexity and attention saturation issues limit their practical application. The Less-Attention Vision Transformer (LaViT) proposes a novel approach that reduces the number of attention operations and leverages previously calculated attention scores, resulting in superior efficiency and performance across vision tasks.

    Jun, 2024

  • AdaViT: 自适应视觉 Transformer 用于高效图像识别

    本文提出了 AdaViT，一个自适应的计算框架，旨在提高视觉变换器的推理效率，而只有 0.8％的准确率下降，并在不同的计算预算条件下实现了良好的效率 / 准确性平衡。

    Nov, 2021

  • RegionViT: 基于区域到局部的视觉转换器注意力机制

    本文提出了一种采用金字塔结构和新的区域到局部注意力的视觉 transformer（ViT）架构，可以在图像分类和目标检测等四个任务上优于目前最先进的视觉 transformer（ViT）变体。

    Jun, 2021

  • SHViT：带有内存高效宏设计的单头视觉 Transformer

    通过引入单头注意力模块并利用减少空间冗余的令牌表示，本文提出了一种内在地防止头部冗余并同时通过并行结合全局和局部信息提高精度的单头视觉变换器（SHViT），在速度和准确度之间达到了最先进的权衡。

    Jan, 2024

  • 高效视觉变换器的调研：算法、技术和性能评测

    这篇文章首先数学上定义了使 Vision Transformer 高效的策略，描述并讨论了最先进的方法学，并分析了它们在不同应用场景下的性能。

    Sep, 2023