Mar, 2021

ConViT：利用软卷积归纳偏置提升视觉Transformer性能

HTML
PDF
TL;DR本文提出了一种形式的位置自注意力机制：门控位置自注意力，该机制能够同时具备卷积神经网络的空域学习和自注意力层的位置不变性。作者使用这种机制构建了名为 ConViT 的混合卷积-自注意力神经网络，通过在 ImageNet 数据集上的实验表明，该网络在图像分类任务上拥有优异的性能和更高的样本效率，并提高了对定位特征的注意力。
发现论文，激发创造
  • CvT：将卷积引入视觉Transformer

    本文提出了名为CvT的新型架构，它通过将卷积引入ViT中实现了性能和效率的提升，并在ImageNet-1K上表现出优异的性能，验证了此方法的先进性和有效性。

    Mar, 2021

  • RegionViT: 基于区域到局部的视觉转换器注意力机制

    本文提出了一种采用金字塔结构和新的区域到局部注意力的视觉transformer（ViT）架构，可以在图像分类和目标检测等四个任务上优于目前最先进的视觉transformer（ViT）变体。

    Jun, 2021

  • Vision Transformer和卷积神经网络的视觉感知相似吗？

    研究比较了卷积神经网络和Vision Transformer模型在图像分类任务中的内部表示结构，发现两种架构存在显著差异，其中self-attention在加快全局信息聚合方面发挥着关键作用。此外，预训练数据集规模会对中间特征和迁移学习产生影响。

    Aug, 2021

  • MaxViT：多轴视觉变压器

    该研究通过引入多轴关注模型和卷积等新元素，提出了一种高效且可扩展的注意力模型，即MaxViT。利用MaxViT作为骨干网络，在图像分类和物体检测等任务上都取得了领先的性能。同时，该模型还证明了其在图像生成方面的潜在优势。

    Apr, 2022

  • 使用有效接受字段理解视觉变换器的高斯注意偏差

    本研究提出了一种使用高斯注意偏差来指导位置嵌入的方法，以提高视觉转换器（ViTs）在图像分类、目标检测和语义分割等任务中的性能。研究表明，使用这种方法不仅有助于ViT理解图像，还提高了在各种数据集上的性能。

    May, 2023

  • TiC:探索卷积中的视觉变换器

    通过结合Self-Attention与广义卷积（包括标准卷积、空洞卷积和深度卷积），Multi-Head Self-Attention Convolution (MSA-Conv) 扩展了Transformer模型，使其能够处理不同尺寸的图像，降低了计算成本，并且通过引入两种增强策略实现了长距离连接和扩大的感受野，而在图像分类任务中，Vision Transformer in Convolution (TiC) 利用了MSA-Conv，在ImageNet-1K数据集上与目前最先进的方法具有可比性。

    Oct, 2023

  • ACC-ViT: 视觉Transformer中空洞卷积的回归

    通过从视觉感知中汲取灵感进行注意机制创新，Transformer已经成为最先进的视觉架构。本文引入了一种融合区域和稀疏注意力的Atrous Attention，它能够自适应地整合局部和全局信息，并保持层次关系，提出了一种通用的混合式视觉Transformer骨干网络ACC-ViT，适用于标准视觉任务和移动规模版本，适用于具有小数据集的特定应用领域。

    Mar, 2024

  • 视觉Transformer中的结构化初始化注意力

    本文探讨了视觉transformer（ViT）网络在小规模数据集上的训练问题，提出了通过重新解释卷积神经网络（CNN）的架构偏差作为ViT的初始化偏差，使其在小规模问题上表现出色，并保持其在大规模应用中的灵活性，该方法在诸多基准数据集（包括CIFAR-10、CIFAR-100和SVHN）上实现了最先进的数据高效ViT学习性能。

    Apr, 2024

  • 视觉Transformer的每个阶段只需要更少的注意力

    Vision Transformers (ViTs) have revolutionized computer vision, but their computational complexity and attention saturation issues limit their practical application. The Less-Attention Vision Transformer (LaViT) proposes a novel approach that reduces the number of attention operations and leverages previously calculated attention scores, resulting in superior efficiency and performance across vision tasks.

    Jun, 2024

  • 视觉Transformer中的区域与稀疏注意力融合

    本研究提出了一种新的混合视觉transformer模型(ACC-ViT)，运用区域关注和稀疏关注相结合的方式，动态地集成了局部和全局信息，同时保留了分层结构，并在常见的视觉任务中表现出色。

    Jun, 2024