Oct, 2023

简洁高性能的纯视觉变换语义分割

PDF
TL;DR通过对简单的 Vision Transformer（ViT）模型进行高性能的分割实验，本文提出了 PlainSeg 和 PlainSeg-Hier 两种简洁高效的模型，包括了最后一个特征图的 3x3 卷积和 Transformer 编码器或解码器，并结合了高分辨率特征和更大的学习率，实验证明这些模型在语义分割中具有高性能和高效率，是评估基础模型转移能力的有力工具。
masked image modelingvision transformersemantic segmentationplainseghierarchical features
发现论文，激发创造
  • SegViTv2: 使用纯视觉 Transformer 探索高效持续语义分割

    使用 Vision Transformers 进行语义分割的研究，提出了 SegViTv2，通过全局注意力机制和轻量级 Attention-to-Mask 模块构建出性能更高的解码器、通过 Shrunk++ 结构降低编码器的计算成本，同时在持续学习的环境下实现近乎零遗忘。实验结果表明，SegViT 优于当前流行的语义分割方法。

    Jun, 2023

  • SegViT: 纯视觉 Transformer 的语义分割

    本文讲述了使用 Vision Transformers 来进行语义分割的能力，提出了 SegVit 模型，并介绍了 Attention-to-Mask（ATM）模块和基于查询的下采样（QD）和上采样（QU）技术，用于构建 Shrunk 结构来减小计算量。实验证明，使用 ATM 模块的 SegVit 模型在 ADE20K 数据集上优于使用常规 ViT 骨干网络的 SegVit 模型，并在 COCO-Stuff-10K 和 PASCAL-Context 数据集上达到了新的排名最佳性能。

    Oct, 2022

  • ViTPose: 用于人体姿势估计的简单视觉 Transformer 基线模型

    本文通过一个名为 ViTPose 的基础模型展示了纯视觉 Transformer 在姿态估计任务中的潜力，该模型结构简单、可扩展、训练方式灵活，并在多关键点检测中取得了优异的性能，其中大模型最高精度达到当前最佳水平。

    Apr, 2022

  • 探索纯视觉 Transformer 主干网络在目标检测中的应用

    本研究探讨使用层次结构大减的视觉变换器（ViT）作为物体检测的骨干网络，使用最小调整实现简单的特征金字塔和窗口注意力，预训练和微调使用 ViT 和掩码自编码器，提出的模型在 COCO 数据集上达到 61.3 AP_box，与使用层次骨干网络的现有领先方法相媲美。

    Mar, 2022

  • 使用视觉 Transformer 进行语义分割：一项调查

    调查了不同的 ViT 架构用于语义分割的性能和使用基准数据集对其进行比较。

    May, 2023

  • HiViT: 分层视觉 Transformer 遇见掩蔽图像建模

    本文提出了一种名为 HiViT 的分层视觉转换器的设计，该设计在 MIM 中具有高效性和良好的性能，通过关闭 Swim Transformer 的局部对单元操作并显示层次结构，将蒙版单元序列化为普通视觉变换器，经实证研究表明，在 ImageNet-1K 上运行 MAE，HiViT-B 相对于 ViT-B 的准确率提高了 0.6％，比 Swin-B 快了 1.9 倍，表现提高泛化到检测和分割等下游任务。

    May, 2022

  • 极简白盒变压器下的分割算法出现

    使用 CRATE 模型，在最小化的有监督训练过程中，展现了分割性质的出现，表明白盒模型的设计路径可以同时实现高性能和数学完全可解释性。

    Aug, 2023

  • 视觉 Transformer: 从语义分割到密集预测

    本研究首次探索视觉变换器（ViT）的全局上下文学习潜力以实现密集视觉预测，编码图像作为一系列补丁并学习全局上下文，使 ViT 可以捕获更强的长距离依赖信息，提出的分割转换器（SETR）在 ADE20K 和 Pascal Context 数据集上取得了出色表现，同时提出了一系列分层本地 - 全局转换器，架构由局部关注（在窗口内）和全局关注（跨窗口）构成，对于各种密集预测任务具有吸引人的性能

    Jul, 2022

  • 一个简单的单尺度视觉 Transformer 用于物体定位和实例分割

    本文提出了一种简单的视觉 Transformer 设计，作为目标定位和实例分割任务的强大基线，绕过传统设计思路，通过 UViT 架构实现更好的计算成本和多尺度全局上下文聚合的平衡。

    Dec, 2021

  • Hiera: 一种无多余属性的分层视觉 Transformer

    本研究旨在通过预训练一个强大的视觉预测任务（MAE）来简化现代分层视觉变压器的结构，从而创造出一个极其简单的分层视觉变压器 Hiera，并在图像和视频识别的多种任务中评估 Hiera 的性能。

    Jun, 2023