Feb, 2024

ReViT: 增强视觉变压器的注意力残差连接 用于视觉识别

PDF
TL;DR通过引入新的残差注意力学习方法来改善 Vision Transformer (ViT) 架构，包括增加视觉特征多样性和模型的鲁棒性，以提高识别系统的准确性。在五个图像分类基准测试中，通过对 ImageNet1k、CIFAR10、CIFAR100、Oxford Flowers-102 和 Oxford-IIIT Pet 数据集的评估，显示出所提方法的有效性和鲁棒性。此外，该方法在 COCO2017 数据集上的实验表明，在空间感知转换器模型中实现时，能发现和整合目标检测和目标实例分割的语义和空间关系。
vision transformerself-attention mechanismlow-level visual featuresresidual attention learning methodvisual feature diversity
发现论文，激发创造
  • 一种具有自注意力残差的新型视觉 Transformer 用于生物医学图像分类

    本文提出了一种新的多头自注意力视觉转换器（ViT）框架，通过使用残差连接的概念累积多头注意力块中的最佳注意力输出，从而在生物医学图像分类方面取得了显着的进展，并在两个小数据集上进行了评估：（i）血细胞分类数据集和（ii）使用脑 MRI 图像进行脑肿瘤检测。结果表明该框架较传统 ViT 和其他基于卷积的最先进分类模型具有更好的分类性能。

    Jun, 2023

  • DeepViT: 朝更深层次的 Vision Transformer 进发

    本文发现 Vision transformers 模型存在 attention collapse issue 现象，即 transformer 模型越深层次的注意力权重变得越相似，严重影响模型性能，提出了一种名为 Re-attention 的有效方法来解决该问题，使得 32 层的 Vision transformers 模型在 ImageNet 数据集的 Top-1 分类准确率上提高了 1.6%。

    Mar, 2021

  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021

  • RegionViT: 基于区域到局部的视觉转换器注意力机制

    本文提出了一种采用金字塔结构和新的区域到局部注意力的视觉 transformer（ViT）架构，可以在图像分类和目标检测等四个任务上优于目前最先进的视觉 transformer（ViT）变体。

    Jun, 2021

  • 理解视觉 Transformer 中的鲁棒性

    本研究阐述 Vision Transformers（ViTs）在自我关注机制的作用下，实现了对多种数据干扰的强大稳健性，并且提出了一族全注意网络（FANs），以加强注意通道处理设计的能力。我们的模型在 ImageNet-1k 和 ImageNet-C 上达到了 87.1％的最新准确度和 35.8％的 mCE，并且在两个下游任务中实现了最新的准确性和稳健性：语义分割和物体检测。

    Apr, 2022

  • 视觉 Transformer 的每个阶段只需要更少的注意力

    Vision Transformers (ViTs) have revolutionized computer vision, but their computational complexity and attention saturation issues limit their practical application. The Less-Attention Vision Transformer (LaViT) proposes a novel approach that reduces the number of attention operations and leverages previously calculated attention scores, resulting in superior efficiency and performance across vision tasks.

    Jun, 2024

  • 自监督视觉 Transformer 中的新兴特性

    本研究探讨自监督学习是否为 Vision Transformer (ViT) 提供了与卷积网络 (convnets) 相比更为突出的新特性，发现自监督 ViT 特征明确包含图像的语义分割信息，在 ImageNet 数据集中取得了 78.3% 的 top-1 准确率，并将这些发现用于自监督方法 DINO 中，通过线性评估，使 ViT-Base 在 ImageNet 数据集中取得了 80.1% 的 top-1 准确率。

    Apr, 2021

  • ViT-V-Net: 用于无监督容积医学图像配准的视觉变换器

    该论文提出了一种基于 ViT 和 ConvNets 的新架构 ViT-V-Net，实现了类医学图像的体积重建。实验结果表明，该方法在图像配准任务中具有优异的性能。

    Apr, 2021

  • Refiner: 为视觉 Transformer 优化自注意力

    通过引入一个概念简单的方案，称为 Refiner，直接改进 Vision Transformers 的自注意映射，该方案探索了一种名为 attention expansion 的扩张机制，可以将多头注意力地图投射到高维空间以促进其多样性，然后应用卷积来增强注意力地图的局部模式，成功在 ImageNet 上实现了 86% 的准确性。

    Jun, 2021

  • 视觉 Transformers 是强大的学习器

    本文旨在研究 Vision Transformer 对常见的图像扰动、分布偏移和自然对抗样本的稳健性，并在六个不同的 ImageNet 数据集上与 SOTA 卷积神经网络进行性能比较，通过一系列六个系统设计的实验，提供了定量和定性的分析来解释 ViT 为什么是更加稳健的学习器。

    May, 2021