Jun, 2021

金字塔视觉变换器改进基线 PVT v2

PDF
TL;DR本文介绍了改进原 Pyramid Vision Transformer (PVT v1) 的三种新方法，并将其命名为 PVT v2。其中包括线性复杂度注意层、重叠的贴片嵌入以及卷积前馈网络。经过这些修改，PVT v2 通过使计算复杂度线性化，显著提高了基础视觉任务（如分类、检测和分割）的性能，并取得了与最近的 Swin Transformer 等其他作品相当或更好的表现。希望这项工作能促进计算机视觉领域中最先进的 Transformer 研究。
发现论文，激发创造
  • 金字塔视觉变换器：一种适用于无卷积的密集预测的通用主干网络

    本文研究了另一种适用于许多密集预测任务的简单骨架网络，即金字塔视觉 Transformer（PVT），它比 Transformer 具有更高的输出分辨率和更少的计算和内存成本，并且在许多下游任务中提高了性能，例如对象检测，语义和实例分割。

    Feb, 2021

  • ViTPose: 用于人体姿势估计的简单视觉 Transformer 基线模型

    本文通过一个名为 ViTPose 的基础模型展示了纯视觉 Transformer 在姿态估计任务中的潜力，该模型结构简单、可扩展、训练方式灵活，并在多关键点检测中取得了优异的性能，其中大模型最高精度达到当前最佳水平。

    Apr, 2022

  • 通过补丁选择实现人体姿势估计的高效视觉变换器

    提出了一种用于减少 Vision Transformers 计算复杂度的简单方法，通过选择和处理最有信息的小片段，我们将二维人体姿态估计网络的结果作为指导进行小片段的选择，实验结果表明这种方法在显著提高速度和减少计算复杂度方面非常有效，而且性能略微下降。

    Jun, 2023

  • 基于 PVT 编码和精细解码的 CT 肝脏分割

    提出了一种新的深度学习方法 PVTFormer，采用预训练金字塔视觉变形器（PVT v2）和高级残差上采样与解码器块相结合的方式，在处理高分辨率医学图像时克服了可扩展性和效率问题，通过整合精细的特征通道方法和分级解码策略，生成了优质的分割掩膜，具有较高的 Dice 系数和 mIoU，并且获得了较低的 HD，为现有的肝脏分割方法设立了新的基准。

    Jan, 2024

  • 具有分层池化的可扩展视觉 Transformer

    本研究提出了 Hierarchical Visual Transformer (HVT) 模型，通过逐步分池视觉标记以缩短序列长度降低计算成本，从而改进了图像分类任务的性能，并在 ImageNet 和 CIFAR-100 数据集上实现了与竞争基线相比更好的结果。

    Mar, 2021

  • P2T: 金字塔池化变换器用于场景理解

    该研究旨在将金字塔池化方法应用于多头自注意力中，从而建立通用的金字塔池化变压器（P2T）骨干网络，在各种视觉任务中实现了较之前的卷积神经网络和变压器网络更优异的表现，同时降低了序列长度和捕捉了强大的上下文特征。

    Jun, 2021

  • 通过探索归纳偏见推动图像识别及更广泛领域的视觉 Transformer 进化 (ViTAEv2)

    本文提出了一种利用先验卷积 IB（intrinsic bias）的 Vision transformer 架构（ViTAE）来解决长程依赖建模中存在的局限性，并在 ImageNet 及其他数据集上进行了实验证明其在图像分类任务上的优越性。

    Feb, 2022

  • 走向强健的视觉 Transformer

    研究发现，很多 ViT 组件对鲁棒性有害，因此提出使用鲁棒组件构建 Robust Vision Transformer（RVT）网络，并进一步提出 position-aware attention scaling 和 patch-wise augmentation 两种方法增强其性能，实验结果显示 RVT 在多项鲁棒性测试中表现优秀。

    May, 2021

  • 重新思考视觉 Transformer 的空间维度

    本研究通过探究卷积神经网络的空间维度转换的作用及其有效性，提出了一种基于降维思想的新型 Pooling-based Vision Transformer (PiT) 模型，实验表明 PiT 模型在图像分类、物体检测和模型鲁棒性等方面均优于原始的 Vision Transformer (ViT) 模型。

    Mar, 2021

  • 补丁是你所需的全部？

    本文介绍 ConvMixer 模型，它使用标准卷积来混合图像块，并在类似参数计数和数据集大小的情况下胜过 ViT、MLP-Mixer 和一些变种，同时也优于经典的 ResNet 等视觉模型。

    Jan, 2022