Apr, 2022

BatchFormerV2: 探索密集表示学习样本关系

PDF
TL;DR本文提出了一种新的 Batch Transformer 模块，即 BatchFormerV2，可以进一步探索密集表示学习，适用于各种常见的视觉识别任务，包括图像分类、目标检测和全景分割，改进了几种基于 DETR 的目标检测方法 (例如 DETR、Deformable-DETR、Conditional DETR 和 SMCA) 1.3% 以上。
attention mechanismstransformer architecturebatchformerv2dense representation learningvisual recognition tasks
发现论文，激发创造
  • BatchFormer：学习探索样本关系来实现强鲁棒性表示学习

    本研究介绍了一个名为 BatchFormer 的批量转换模块，将其应用于每个 mini-batch 的批量维度以隐式地探索样本之间的关系，并在训练期间对不同样本进行协作，以解决数据稀缺性问题，并在多项数据稀缺应用中取得重要进展，包括长尾识别、组合零样本学习、域泛化和对比学习。

    Mar, 2022

  • MixFormerV2：高效全 Transformer 跟踪

    本文提出了一种基于全 Transformer 结构的跟踪框架 MixFormerV2，通过引入四个特殊的预测 tokens，结合目标模板和搜索区域的 tokens，采用 Transformer 骨干网络进行跟踪预测，进而通过简单的 MLP heads 预测跟踪框和评估置信度得分，并提出了一种新的蒸馏模型的减少算法，包括密集到稀疏和深层到浅层的蒸馏，以进一步提高跟踪器性能。

    May, 2023

  • MatchFormer: 用于特征匹配的变形金刚中的交错注意力

    本文提出了一种新的层次化提取和匹配变形器 MatchFormer 来提高局部特征匹配的效率和鲁棒性，该方法结合自注意力和跨注意力在多尺度特征的层次化架构上提高匹配鲁棒性，并在室内姿势评估、室外姿势评估、单应性评估和图像匹配检测四个基准测试中均取得 state-of-the-art 的结果。

    Mar, 2022

  • MixFormer: 迭代混合注意力的端到端跟踪

    使用 transformers 建立了一种稳健的跟踪框架 MixFormer，采用混合注意力模块（MAM）实现了特征提取和目标信息的同步建模，同时在 LaSOT、TrackingNet、VOT2020、GOT-10k 和 UAV123 等五个基准测试数据集上取得了最新的最高成功率和 EAO 评分。

    Mar, 2022

  • nnFormer: 交错 Transformer 用于体积分割

    介绍了一种新的医学图像分割模型 ——nnFormer，利用了 3D Transformer 模型的自注意机制，相比之前的 Transformer 模型在三个公开数据集上都取得了更好的性能。

    Sep, 2021

  • D-Former: 一种用于 3D 医学图像分割的 U 形扩张 Transformer

    本文提出了一种称为 Dilated Transformer 的方法，该方法在全球和局部范围内交替捕捉成对的补丁关系进行自我关注。我们基于 Dilated Transformer 的设计构建了一种名为 D-Former 的 U 型编码器 - 解码器分层结构，用于 3D 医学图像分割。实验表明，我们的 D-Former 模型在低计算成本下，从头开始训练，优于各种有竞争力的基于 CNN 或 Transformer 的分割模型。

    Jan, 2022

  • PrototypeFormer: 学习探索原型关系进行少样本图像分类

    本文提出了一种名为 PrototypeFormer 的方法，通过探索原型关系，显著改进了传统的少样本图像分类方法。该方法采用变压器架构构建原型提取模块，旨在提取更具有区分性的类别表示，以用于少样本分类。此外，在模型训练过程中，提出了一种基于对比学习的优化方法，以优化少样本学习场景下的原型特征。通过在几个流行的少样本图像分类基准数据集上实验，证明了本方法优于所有当前最先进的方法，特别是在 miniImageNet 的 5-way 5-shot 和 5-way 1-shot 任务上分别达到 97.07％和 90.88％，超过最先进方法分别 7.27％和 8.72％的精度。代码将在之后发布。

    Oct, 2023

  • MixFormer：迭代混合注意力实现的端到端跟踪

    本文提出了一种基于 transformers 的简单有效的追踪框架 MixFormer，通过 Mixed Attention Module 实现了特征提取和目标信息集成的同步建模，设计了两种类型的 MixFormer 追踪器，使用不同的预训练方法，提出了减少计算成本的不对称注意机制和有效的得分预测模块，并在包括 LaSOT，TrackingNet，VOT2020，GOT-10k，OTB100 和 UAV123 等七个追踪基准中创造了最新的性能标准。

    Feb, 2023

  • DenseFormer: 通过深度加权平均增强 Transformer 中的信息流传

    提出了 DenseFormer 这种简单修改的转换器架构，通过在每个转换器模块之后添加一个平均步骤来改进模型的困惑度，减少了内存消耗和推理时间，并且在相同困惑度下表现优于转换器基线模型。

    Feb, 2024

  • Mobile-Former：连接 MobileNet 和 Transformer

    Mobile-Former 是一种结合 MobileNet 和 Transformer 的二元桥设计，其具有较低的计算成本和更强的表示能力，可以用于图像分类和对象检测，并在低 FLOP 区间内胜过 MobileNetV3 以及传统目标检测框架 DETR

    Aug, 2021