Jun, 2023

轻量化双向交互视觉变换器

HTML
PDF
TL;DR本文提出了一种全自适应自注意力机制用于视觉Transformer，以在上下文感知方面建模局部和全局信息以及其二者之间的双向交互，并介绍了一种细粒度下采样策略以增强全局感知能力，最终研发了一系列轻量级视觉骨干，Fully Adaptive Transformer (FAT) 系列，并在多个视觉任务上进行了广泛的实验，取得了优秀的性能。
发现论文，激发创造
  • 视觉Transformer中的局部-全局交互的焦点自注意力

    本文介绍了一种名为Focal Transformer的新型视觉Transformer模型，采用了一种称为focal self-attention的新机制，有效地解决上述算法在高分辨率视觉任务方面的困难之处，并在各项视觉任务的公共基准测试中创造了新的SoTA。

    Jul, 2021

  • 局部到全局的视觉Transformer自注意力

    本研究提出了多通路结构的Transformer模型，实现局部到全局的多粒度特征推理，相较于现有的分层设计模型，在增加了极小的计算量的同时，在图像分类和语义分割任务上取得了显著的提高。

    Jul, 2021

  • 利用多尺度令牌聚合的深层自注意力机制

    本文提出一种名为SSA的新型自注意力策略，能够使Vision Transformer模型在单个自注意力层上实现对多种尺度特征的建模，并得到了广泛验证和超越同类模型的结果。

    Nov, 2021

  • 具有增强自注意力的轻量级视觉Transformer

    本研究提出了Lite Vision Transformer（LVT），一种新型的轻量级 transformer 网络，其中包含两种增强自注意力机制，以提高模型在移动部署中的性能表现，并在 ImageNet识别、ADE20K语义分割和COCO全景分割中具有优越性能。

    Dec, 2021

  • 用于高效本地注意力的学习查询

    本文提出了一种名为query and attend（QnA）的新型shift-invariant local attention层，将其并入分层视觉transformer模型，并证明其在速度和内存复杂度方面的改善，同时又能实现与最先进的模型相当的准确度。

    Dec, 2021

  • ScalableViT: 重思视觉Transformer 的面向上下文的泛化

    本文提出了可扩展的自注意力机制(SSA)和交互窗口自注意力(IWSA)机制以及它们的堆叠模型Scalable Vision Transformer(ScalableViT)，并在ImageNet-1K分类任务上超越了目前最先进的Twins-SVT-S和Swin-T模型。

    Mar, 2022

  • DaViT: 双注意力视觉Transformer

    本文提出Dual Attention Vision Transformers (DaViT)网络，该网络通过自我注意机制能够捕获全局信息，同时保持计算效率，并在图片分类任务上取得了最先进的表现。

    Apr, 2022

  • Slide-Transformer: 具有局部自注意力的分层视觉变压器

    本文提出一种新颖的本地自注意力模块Slide Attention，使用深度卷积和变形平移技术实现高效、灵活和通用的局部特征学习，适用于各种高级视觉Transformer模型，并在多项基准测试中实现了持续的性能改进。

    Apr, 2023

  • SG-Former: 自我引导变形器与演化式记号重分配

    利用自适应细粒度的全局自注意力，SG-Former模型通过重分配代币实现了高性能，其基本模型在ImageNet-1K上达到了84.7％的Top-1准确率，在CoCo上达到了51.2mAP的bbAP，在ADE20K上达到了52.7mIoU的准确率，超过了Swin Transformer模型，而计算成本和参数较少。

    Aug, 2023

  • 视觉Transformer中的区域与稀疏注意力融合

    本研究提出了一种新的混合视觉transformer模型(ACC-ViT)，运用区域关注和稀疏关注相结合的方式，动态地集成了局部和全局信息，同时保留了分层结构，并在常见的视觉任务中表现出色。

    Jun, 2024