Oct, 2023

EViT：鹰眼视觉 Transformer 与双凹视域自注意力机制

PDF
TL;DR基于鹰眼的生理结构与特点，本研究提出了一种新颖的双凹中注意力（BFSA）算法，以缓解视觉变换器在计算复杂性和感应偏见缺失方面的挑战，并结合 CNN 和 Vision Transformer 设计了生物仿生鹰眼视觉（BEV）模块，最终通过堆叠 BEV 模块完成了统一高效的金字塔主干网络（EViTs）家族的开发，实验结果表明 EViTs 在图像分类、目标检测、实例分割等多个计算机视觉任务上与基准模型相比具有显著的优势。
发现论文，激发创造
  • 探索内在归纳偏差的视觉变换器高级版

    论文提出了一种新的具有局部偏好和尺度不变性的图像模型 ——ViTAE，其利用多个卷积模块降采样并将输入图像嵌入到多尺度上下文具有丰富的令牌中，从而学习到具有鲁棒性的对象特征表示。

    Jun, 2021

  • 通过探索归纳偏见推动图像识别及更广泛领域的视觉 Transformer 进化 (ViTAEv2)

    本文提出了一种利用先验卷积 IB（intrinsic bias）的 Vision transformer 架构（ViTAE）来解决长程依赖建模中存在的局限性，并在 ImageNet 及其他数据集上进行了实验证明其在图像分类任务上的优越性。

    Feb, 2022

  • FViT：一种具有 Gabor 滤波器的聚焦视觉变换器

    利用 Gabor 滤波器和学习能力，结合视觉变换器模型，设计了一种有效的金字塔网络结构，称为 Focal Vision Transformers（FViTs），在各种视觉任务中展现出出色的性能。

    Feb, 2024

  • 基于 Vision Transformers 的轻量级 CNN 竞争移动设备

    通过引入高度成本效益的局部全局局部（LGL）信息交换瓶颈，结合最优的自注意力和卷积，我们引入了 EdgeViTs，这是一种新的轻便 ViTs 家族，它们能够在准确性和设备效率之间的权衡中与最佳轻量级 CNNs 竞争，并优于其他 ViTs 几乎在所有情况下，证实了模型是帕累托最优的。

    May, 2022

  • 改进的 EATFormer：用于医学图像分类的视觉 Transformer

    本文提出了一种基于进化算法的改进型 Transformer 架构，用于医学图像分类。该架构在 Convolutional Neural Networks 和 Vision Transformers 的基础上结合了它们的优势，利用它们在数据中识别模式和适应特定特征的能力。实验结果表明，与基准模型相比，所提出的 EATFormer 显著改善了预测速度和准确性。

    Mar, 2024

  • FedBEVT: 道路交通系统中的联邦学习鸟瞰感知变换器

    本文提出了一种用于自动驾驶的联邦变压器学习方法 FedBEVT，其使用多视角相机数据来学习模型，并解决了数据异构问题，如多传感器姿态和感知系统中不同的传感器数量。在实际场景中的性能优于基线方案，展示了该方法在提高鸟瞰图感知中的潜力。

    Apr, 2023

  • 快速视觉 Transformer 模型：具有分层注意力机制

    本文介绍了一种新的卷积神经网络和可见 - 感知变换神经网络的混合模型 ——FasterViT，利用 HAT 方法分层降低全局自注意力的计算复杂度，提高图像处理的吞吐量和效率。FasterViT 在各种计算机视觉任务中得到了广泛的验证，并表现出比竞争对手更快，更准确的性能。

    Jun, 2023

  • 在小数据集上通过本地归纳偏置引入提高视觉 Transformer 的性能

    本文提出基于自注意力块的局部信息增强模块 LIFE，通过提取补丁级别的局部信息并将其合并到 ViTs 的嵌入中，在小尺寸图像分类数据集上改进了 ViTs 的性能，并将其推广到目标检测和语义分割等下游任务，在此基础上，引入了一种新的可视化方法 —— 密集注意力 Roll-Out，特别适用于密集预测任务。

    May, 2023

  • ConViT：利用软卷积归纳偏置提升视觉 Transformer 性能

    本文提出了一种形式的位置自注意力机制：门控位置自注意力，该机制能够同时具备卷积神经网络的空域学习和自注意力层的位置不变性。作者使用这种机制构建了名为 ConViT 的混合卷积 - 自注意力神经网络，通过在 ImageNet 数据集上的实验表明，该网络在图像分类任务上拥有优异的性能和更高的样本效率，并提高了对定位特征的注意力。

    Mar, 2021

  • 轻量化双向交互视觉变换器

    本文提出了一种全自适应自注意力机制用于视觉 Transformer，以在上下文感知方面建模局部和全局信息以及其二者之间的双向交互，并介绍了一种细粒度下采样策略以增强全局感知能力，最终研发了一系列轻量级视觉骨干，Fully Adaptive Transformer (FAT) 系列，并在多个视觉任务上进行了广泛的实验，取得了优秀的性能。

    Jun, 2023