Sep, 2022

DMFormer：缩小 CNN 和 Vision Transformer 之间的差距

PDF
TL;DR本文提出了一种动态多级注意力机制 (DMA)，它通过多个卷积核大小捕捉输入图像的不同模式，并通过门控机制实现输入自适应权重，然后提出了一种名为 DMFormer 的有效骨干网络，该网络采用了 DMA 替代了视觉变换器中的自我关注机制。在 ImageNet-1K 和 ADE20K 数据集上的广泛实验结果表明，DMFormer 具有先进的性能，优于大小相似的视觉变压器 (ViTs) 和卷积神经网络 (CNNs)。
vision transformersdynamic multi-level attentiondmadmformercomputer vision
发现论文，激发创造
  • 动态 Mobile-Former：在核空间中利用注意力和残差连接加强动态卷积

    Dynamic Mobile-Former 是一种集成了轻量级注意力机制和增强动态卷积优势的网络模型，通过 Transformer 和 MobileNet 的双向集成实现对全局和局部特征的处理，在图像分类、目标检测和实例分割等各个视觉任务上取得了高效且卓越的性能。

    Apr, 2023

  • 具有分区注意力的双路径 Transformer

    本文介绍了一种新颖的双重注意机制，包括由卷积神经网络生成的局部注意和由 Vision Transformer 生成的长程注意，提出了一种新的多头分区关注机制（MHPA）来解决计算复杂性和内存占用的问题，并基于此提出了一个分层视觉骨干网络 DualFormer，在多个计算机视觉任务中都取得了比较好的表现。

    May, 2023

  • D-Former: 一种用于 3D 医学图像分割的 U 形扩张 Transformer

    本文提出了一种称为 Dilated Transformer 的方法，该方法在全球和局部范围内交替捕捉成对的补丁关系进行自我关注。我们基于 Dilated Transformer 的设计构建了一种名为 D-Former 的 U 型编码器 - 解码器分层结构，用于 3D 医学图像分割。实验表明，我们的 D-Former 模型在低计算成本下，从头开始训练，优于各种有竞争力的基于 CNN 或 Transformer 的分割模型。

    Jan, 2022

  • MetaFormer 对于计算机视觉是必不可少的

    通过取代 Transformers 中的注意力机制，使用空间 MLPs，从而验证了 Transformers 的总体架构（MetaFormer）对模型性能的贡献更为关键。提出了 MetaFormer 的概念，这是一个抽象出 Transformers 中 token mixer 以外的通用架构，并将提出的 PoolFormer 作为未来 MetaFormer 架构设计的起点基线模型。

    Nov, 2021

  • HiFormer: 使用 Transformer 实现的分层多尺度表示，用于医学图像分割

    本文提出了一种新的方法 HiFormer，它通过使用 Swin Transformer 模块和基于 CNN 的编码器设计了两种多尺度特征表示来有效地跨越 CNN 和 Transformer 进行医学图像分割。在编码器解码器结构的跳跃连接中，我们提出了 Double-Level Fusion（DLF）模块，以确保从两个上述表示中获得的全局和局部特征的细粒度融合。在各种医学图像分割数据集上的广泛实验表明，HiFormer 在计算复杂度、定量和定性结果方面优于其他基于 CNN、Transformer 和混合方法。

    Jul, 2022

  • MixFormer: 迭代混合注意力的端到端跟踪

    使用 transformers 建立了一种稳健的跟踪框架 MixFormer，采用混合注意力模块（MAM）实现了特征提取和目标信息的同步建模，同时在 LaSOT、TrackingNet、VOT2020、GOT-10k 和 UAV123 等五个基准测试数据集上取得了最新的最高成功率和 EAO 评分。

    Mar, 2022

  • MixFormer：迭代混合注意力实现的端到端跟踪

    本文提出了一种基于 transformers 的简单有效的追踪框架 MixFormer，通过 Mixed Attention Module 实现了特征提取和目标信息集成的同步建模，设计了两种类型的 MixFormer 追踪器，使用不同的预训练方法，提出了减少计算成本的不对称注意机制和有效的得分预测模块，并在包括 LaSOT，TrackingNet，VOT2020，GOT-10k，OTB100 和 UAV123 等七个追踪基准中创造了最新的性能标准。

    Feb, 2023

  • MIA-Former: 多粒度输入适应的高效和鲁棒视觉 Transformer

    本文提出了一种多粒度输入自适应 Transformer 框架 MIA-Former，可以在多个粒度上调整 ViTs 的结构以适应输入图像的不同难度，并且具有改进对抗攻击鲁棒性的效果。经过实验验证，MIA-Former 能够有效地分配计算资源，并取得与 SOTA 动态 Transformer 模型相比甚至更高的准确率和更低的计算复杂度。

    Dec, 2021

  • MixFormer: 跨窗口与跨维度混合特征

    本论文提出了一种名为 MixFormer 的方法，将局部窗口自注意力与深度可分卷积相结合，跨窗口连接建模以扩大感受野，并在通道和空间维度上提供互补线索，从而实现更好的特征混合。在图像分类方面，MixFormer 相比于 RegNet 和 Swin Transformer 表现更好。在 MS COCO，ADE20k 和 LVIS 的 5 项密集预测任务中，其下游任务的性能也明显优于其他替代方案。

    Apr, 2022

  • NiNformer：一种带有令牌混合生成门控函数的网络中网络 Transformer

    该论文介绍了一种用于减少计算负担的新的计算模块，通过替换标准的注意力层为具有动态学习元素级门控函数的网络结构，增强了 MLP Mixer 的静态方法，从而在图像分类任务中比基准架构表现更好。

    Mar, 2024