Jan, 2021

基于瓶颈结构的 Transformer 用于视觉识别

PDF
TL;DRBoTNet 是一种基于自注意力机制的视觉模型，可以应用于图像分类、目标检测和实例分割，通过在 ResNet 的最后三个 bottleneck 块中使用自注意力代替空间卷积，能够大幅提高实例分割和目标检测的性能，同时减少参数量和计算开销。BoTNet 的设计表明 ResNet bottleneck 块中的自注意力可以视为 Transformer 块。在 COCO Instance Segmentation 基准测试中，BoTNet 能够取得 44.4% 的 Mask AP 和 49.7% 的 Box AP，超过了之前最佳单模型和单尺度结果 ResNeSt，同时在 ImageNet 基准测试中，BoTNet 的简单改进能够取得 84.7% 的 top-1 准确率，比 EfficientNet 在 TPU-v3 上计算速度快 1.64 倍。这一简单而有效的方法有望成为未来自注意力视觉模型研究的强有力基准。
发现论文，激发创造
  • CoAtNet：结合卷积和注意力处理不同数据尺寸

    本篇研究介绍了 CoAtNets，这是一种基于 transformers 和卷积神经网络的混合模型，能够在图像识别领域取得最好的效果，相较于传统的 transformers 和卷积神经网络具备更好的泛化性能和效率。

    Jun, 2021

  • ConTNet：为什么不同时使用卷积和 Transformer？

    本论文提出基于 Transformer 和 ConvNet 结构的 ConTNet 模型，相较于传统的 ConvNet 模型，可以更好地捕捉全局信息，从而部署在图像分类和物体检测等任务中，具有明显的优异性。

    Apr, 2021

  • BOTT：用于 3D 物体跟踪的仅使用框的 Transformer 跟踪器

    通过使用 transformers 从 3D 盒子中直接学习特征，本研究提出了一种名为 Box Only Transformer Tracker (BOTT) 的跟踪器，能够学习链接自不同帧的同一对象的 3D 盒子，以及在两个最大的 3D MOT 基准测试中取得有竞争力的性能。

    Aug, 2023

  • 瓶颈关注模块

    本篇论文提出了一种名为 Bottleneck Attention Module（BAM）的简单有效的注意力机制，可嵌入任何前馈卷积神经网络中，并在 CIFAR-100、ImageNet-1K、VOC 2007 和 MS COCO 等基准测试中通过广泛实验验证了其在图像分类和检测性能上的一致提高。

    Jul, 2018

  • Transformed CNNs: 用自注意力机制重塑预训练卷积层

    本文研究在 Vision Transformers 与卷积神经网络之间构建混合模型时的计算瓶颈问题，探索采用卷积层进行初始化以达到更快的训练速度，得到的 Transformed CNN (T-CNN) 相比 CNN 在 ImageNet-1k 上有 2.2% top-1 和 ImageNet-C 上有 11% top-1 的性能提升，研究发现初始化 T-CNN 可以从部分训练的 CNN 开始进行，可以更快地达到高性能。

    Jun, 2021

  • 2020 年代用于 ConvNet（卷积神经网络）的神经网络

    本研究重新审视设计空间，逐步将标准 ResNet 现代化为 Vision Transformer 的设计，发现了几个关键组件，并发现纯 ConvetNets 模型家族 ConvNeXt 可以在精度和可伸缩性方面与 Transformer 竞争，在 ImageNet 的 top-1 准确率方面达到了 87.8％，并在 COCO 检测和 ADE20K 分割上优于 Swin Transformer 。

    Jan, 2022

  • MOAT: 交替移动卷积和注意力提供强大的视觉模型

    本文提出了 MOAT，这是一种基于移动卷积和自注意力的神经网络。它将传统 transformer 模型中的 MLP 替换为移动卷积，并将其重新排序以提供更好的取样特征。在多个任务上进行了测试， MOAT 块显示出了带宽优势和更好的准确性。

    Oct, 2022

  • 多模态融合中的注意力瓶颈

    本篇论文介绍了一种基于 transformer 的新颖架构，使用多层的融合瓶颈来进行多模态融合，实现了在多个音视频分类基准测试上的最新的结果，同时降低了计算成本。

    Jun, 2021

  • 使用 Vision Transformers 对检测迁移学习进行基准测试

    本文提出了可用于 Mask R-CNN 的 Vision Transformer 模型的训练技术，使用五种 ViT 初始化方法进行实验比较，结果表明最近基于遮蔽的无监督学习方法可能是首次在 COCO 数据集上提供了令人信服的转移学习改进，随着模型大小的增加，这些基于遮蔽的初始化方法具有更好的可扩展性和改进性。

    Nov, 2021

  • $A^2$-Nets：双重注意力网络

    本文提出了一种双重注意力块 (double attention block) 的方法，其聚合和传播了来自输入图像 / 视频的整个时空空间的全局特征，从而使下一层卷积层高效地访问整个空间中的特征；将此块应用于当前卷积神经网络，可以显著提高图像 / 视频的识别性能，在 ImageNet-1k 数据集上，ResNet-50 与双重注意力块的表现优于参数数量多得多的 ResNet-152, 在动作识别任务中，该模型在 Kinetics 和 UCF-101 数据集上取得了最先进的成果。

    Oct, 2018