CVPRMar, 2023

基于 Token 对比的弱监督语义分割

PDF
TL;DR本研究提出了 Token Contrast (ToCo)，一种用于解决 Vision Transformer（ViT）在弱监督语义分割 (WSSS) 中过度平滑的问题，是革新的 Class Activation Map（CAM）的一种实验。ToCo 采取 Patch Token Contrast（PTC）和 Class Token Contrast（CTC）的方式，有效地提高了语义分类精度，与多阶段的最先进方法相当。
weakly-supervised semantic segmentationclass activation mapvision transformertoken contrastpseudo labels
发现论文，激发创造
  • MCTformer+: 弱监督语义分割的多类标记变换器

    本文提出了一种新颖的基于 Transformer 的框架，旨在通过生成准确的类特定目标定位图作为伪标签来增强弱监督语义分割，并探讨了 Transformer 模型捕捉类特定关注力以实现具有类鉴别性的目标定位的潜力。

    Aug, 2023

  • 基于像素原型对比的弱监督语义分割

    本文提出了一种基于像素级原型对比度的弱监督语义分割方法，通过两种直观的先验知识，对图像的不同视角和单个视角内进行执行，旨在实施跨视图特征语义一致性规则，并促进特征空间的内部（间）类一致性（离散度），从而提高了两个强基线模型的精度，并在 PASCAL VOC 2012 上实现了新的最先进水平。

    Oct, 2021

  • 基于补丁对比学习的弱监督语义分割的 Top-K 汇聚

    提出了一种名为 top-K 汇聚的 Vision Transformer 弱监督语义分割方法（TKP-PCL），通过使用 top-K 汇聚层来增强之前最大汇聚选择的限制，并提出了一种补丁对比误差（PCE）来增强补丁嵌入，从而进一步提高最终结果。实验结果表明，该方法在 PASCAL VOC 2012 数据集上非常高效，并且优于其他最新的弱监督语义分割方法。

    Oct, 2023

  • 弱监督语义分割的多类别令牌变换器

    本文提出了一种基于 Transformer 的新框架，用于学习类别特定的物体定位映射，作为弱监督语义分割的伪标签。通过将多个类别令牌引入 Transformer 中，实现对类别特定注意力的有效捕获，从而生成对应于不同类别令牌的类别判别性的物体定位映射，并进一步利用从 patch-patch Transformer 的注意力中提取的 patch-level 成对亲和力来细化定位图。这个提议的框架可以完全补充 Class Activation Mapping（CAM）方法，提高 WSSS 的结果。

    Mar, 2022

  • WeakTr: 探索用于弱监督语义分割的普通视觉 Transformer

    本文探讨了 Vision Transformer (ViT) 在弱监督语义分割 (WSSS) 中的属性。在提出的 WeakTr 框架中，通过自适应融合自注意力图来具有更完整的对象的高质量 CAM 结果。在标准基准测试中，WeakTr 实现了最先进的 WSSS 性能，即在 PASCAL VOC 2012 的 val set 上达到 78.4% 的 mIoU，在 COCO 2014 的 val set 上达到 50.3% 的 mIoU。

    Apr, 2023

  • TS-CAM: Token Semantic Coupled Attention Map 用于弱监督目标定位

    通过引入 token 语义耦合的注意力映射（TS-CAM），该文利用 Transformer 网络的自注意力机制提取远程特征依赖性以避免局部激活问题，进而实现了语义感知定位的最新性能改进。

    Mar, 2021

  • 弱监督语义分割的补充补丁

    本研究通过信息学理论视角，提出一种基于互补补丁表示的方法，运用三元组网络和三项规范功能实现互补补丁网络（CPN），同时借助像素 - 区域相关模块（PRCM）加强上下文信息，从而在 PASCAL VOC 2012 数据集上取得了新的最优成果以验证该方法的有效性。

    Aug, 2021

  • 双增强变换器网络用于弱监督语义分割

    通过使用双增强变换网络和自正则化约束，为弱监督语义分割（WSSS）问题提供一种有效的解决方法，该方法通过将 CNN 和 Transformer 网络相结合进行相互补充学习，并在最终输出上进行增强来改善分割效果。在具有挑战性的 PASCAL VOC 2012 基准测试上进行的大量系统评估结果表明，该方法的有效性优于先前的最先进方法。

    Sep, 2023

  • 语义分割的交换分配弱监督共训练

    提出了一种采用引导类激活图的端到端弱监督语义分割模型 CoSA，通过交替学习和三种技术的引入，有效减少了类激活图的不一致性和错误，达到了优于现有方法的性能。

    Feb, 2024

  • 增强弱监督分割的高保真伪标签

    该论文提出了一种基于图片分类网络和概率解释 CAM 的图像级弱监督语义分割方法来改善先前弱监督下模型的性能，通过提高区域相似性和轮廓质量来增强几乎任何以前的 WSSS 方法，并在 PASCAL VOC 数据集上进行了演示。

    Apr, 2023