Jan, 2024

利用 Swin Transformer 进行局部到全局弱监督语义分割

PDF
TL;DR近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。
weakly supervised semantic segmentationclass activation mapsvision transformerswin transformerlocal-to-global view
发现论文，激发创造
  • 基于视觉 Transformer 的最大池化方法调和弱监督下的语义分割中的类别和形状

    该论文提出了一种新的基于 Vision Transformers (ViT) 的弱监督语义分割方法，命名为 ViT-PCM，该方法不使用传统的 CNN-CAM。在数据集 PascalVOC2012 上实验结果表明，该方法在参数数量最少的情况下具有最好的性能和精度。

    Oct, 2022

  • 双增强变换器网络用于弱监督语义分割

    通过使用双增强变换网络和自正则化约束，为弱监督语义分割（WSSS）问题提供一种有效的解决方法，该方法通过将 CNN 和 Transformer 网络相结合进行相互补充学习，并在最终输出上进行增强来改善分割效果。在具有挑战性的 PASCAL VOC 2012 基准测试上进行的大量系统评估结果表明，该方法的有效性优于先前的最先进方法。

    Sep, 2023

  • 基于语义约束匹配的弱监督目标定位 Transformer

    本研究提出了一种基于转换器的新型语义约束匹配网络（SCMN），通过匹配从成对图像中提取的粗糙类激活图（CAMs），从而隐式引导和校准转换器网络以缓解发散激活问题，在 CUB-200-2011 和 ILSVRC 数据集上进行的大量实验结果显示，我们的方法可以达到最新的最优性能，并且在性能上超过之前方法很大幅度。

    Sep, 2023

  • WeakTr: 探索用于弱监督语义分割的普通视觉 Transformer

    本文探讨了 Vision Transformer (ViT) 在弱监督语义分割 (WSSS) 中的属性。在提出的 WeakTr 框架中，通过自适应融合自注意力图来具有更完整的对象的高质量 CAM 结果。在标准基准测试中，WeakTr 实现了最先进的 WSSS 性能，即在 PASCAL VOC 2012 的 val set 上达到 78.4% 的 mIoU，在 COCO 2014 的 val set 上达到 50.3% 的 mIoU。

    Apr, 2023

  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023

  • Swin Transformer: 使用偏移窗口的分层视觉 Transformer

    本文提出了一种新的视觉 Transformer，称为 Swin Transformer，它在计算机视觉领域中作为通用骨干具有很强的能力，包括图像分类和目标检测。Swim Transformer 的层次设计和移位窗口方法对于所有多层感知器架构也证明是有益的，并且模型和代码是公开的。

    Mar, 2021

  • 从标记稀疏化视角提高视觉 Transformer 的效率

    本文介绍了一种基于语义标记的 ViT 模型，可以用于图像分类以及物体检测和实例分割等任务，并通过对空间中的池化图像标记进行 attention 的方法，来取代大量的图像标记，从而实现了网络的降维升效。

    Mar, 2023

  • 视觉 Transformer: 从语义分割到密集预测

    本研究首次探索视觉变换器（ViT）的全局上下文学习潜力以实现密集视觉预测，编码图像作为一系列补丁并学习全局上下文，使 ViT 可以捕获更强的长距离依赖信息，提出的分割转换器（SETR）在 ADE20K 和 Pascal Context 数据集上取得了出色表现，同时提出了一系列分层本地 - 全局转换器，架构由局部关注（在窗口内）和全局关注（跨窗口）构成，对于各种密集预测任务具有吸引人的性能

    Jul, 2022

  • 自我监督的少样本变换器

    本研究探讨了视觉变换器 (ViT) 在少样本学习中的能力，发现在相同的少样本学习框架下，用 ViT 模型替换常用的 CNN 特征提取器会严重削弱少样本分类性能；本研究提出了一种名为 Self-promoted sUpervisioN (SUN) 的简单而有效的 ViT 少样本训练框架，用于改善 token 依赖性问题，并通过实验证明了 SUN 优于其他同类技术，并超过了 CNN 的最新研究成果。

    Mar, 2022

  • Video Swin Transformer

    本文介绍了一种针对视频领域的区域局部性 Transformer 架构，通过使用 Swin Transformer 设计来实现，同时利用预训练模型的威力，取得了行动识别和时间建模等广泛的视频识别基准的最新准确性。

    Jun, 2021