Feb, 2024

CoBra: 强大的弱监督语义分割的补充分支结合类别和语义知识

PDF
TL;DR在这项工作中，我们提出了一种新的双分支框架 ——CoBra，它由两种不同的架构组成，为每个分支提供有价值的类别（来自 CNN）和语义（来自 ViT）的互补知识，以显式融合它们的补充知识，并促进一种新型的额外模块级监督。通过 CoBra，我们的模型将 CNN 和 ViT 的互补输出融合在一起，有效地融合了类别和语义信息，从而创建出具有鲁棒性的伪掩模，该模型在 PASCAL VOC 2012 数据集上表现出了最先进的弱监督语义分割结果。
weakly supervised semantic segmentationclass activation mapsvision transformerscomplementary branchpseudo masks
发现论文，激发创造
  • 语义分割的交换分配弱监督共训练

    提出了一种采用引导类激活图的端到端弱监督语义分割模型 CoSA，通过交替学习和三种技术的引入，有效减少了类激活图的不一致性和错误，达到了优于现有方法的性能。

    Feb, 2024

  • 双增强变换器网络用于弱监督语义分割

    通过使用双增强变换网络和自正则化约束，为弱监督语义分割（WSSS）问题提供一种有效的解决方法，该方法通过将 CNN 和 Transformer 网络相结合进行相互补充学习，并在最终输出上进行增强来改善分割效果。在具有挑战性的 PASCAL VOC 2012 基准测试上进行的大量系统评估结果表明，该方法的有效性优于先前的最先进方法。

    Sep, 2023

  • WeakTr: 探索用于弱监督语义分割的普通视觉 Transformer

    本文探讨了 Vision Transformer (ViT) 在弱监督语义分割 (WSSS) 中的属性。在提出的 WeakTr 框架中，通过自适应融合自注意力图来具有更完整的对象的高质量 CAM 结果。在标准基准测试中，WeakTr 实现了最先进的 WSSS 性能，即在 PASCAL VOC 2012 的 val set 上达到 78.4% 的 mIoU，在 COCO 2014 的 val set 上达到 50.3% 的 mIoU。

    Apr, 2023

  • COMNet: 弱监督语义分割中的共现匹配

    本文提出了一种新颖的 Co-Occurrent Matching Network（COMNet），可以提升 CAM 的质量，并强制网络关注整个目标的各个部分，从而有效提高基线模型的性能并达到最新的最佳性能。

    Sep, 2023

  • 基于 Token 对比的弱监督语义分割

    本研究提出了 Token Contrast (ToCo)，一种用于解决 Vision Transformer（ViT）在弱监督语义分割 (WSSS) 中过度平滑的问题，是革新的 Class Activation Map（CAM）的一种实验。ToCo 采取 Patch Token Contrast（PTC）和 Class Token Contrast（CTC）的方式，有效地提高了语义分类精度，与多阶段的最先进方法相当。

    Mar, 2023

  • 弱监督语义分割的补充补丁

    本研究通过信息学理论视角，提出一种基于互补补丁表示的方法，运用三元组网络和三项规范功能实现互补补丁网络（CPN），同时借助像素 - 区域相关模块（PRCM）加强上下文信息，从而在 PASCAL VOC 2012 数据集上取得了新的最优成果以验证该方法的有效性。

    Aug, 2021

  • 基于视觉 Transformer 的最大池化方法调和弱监督下的语义分割中的类别和形状

    该论文提出了一种新的基于 Vision Transformers (ViT) 的弱监督语义分割方法，命名为 ViT-PCM，该方法不使用传统的 CNN-CAM。在数据集 PascalVOC2012 上实验结果表明，该方法在参数数量最少的情况下具有最好的性能和精度。

    Oct, 2022

  • 基于像素原型对比的弱监督语义分割

    本文提出了一种基于像素级原型对比度的弱监督语义分割方法，通过两种直观的先验知识，对图像的不同视角和单个视角内进行执行，旨在实施跨视图特征语义一致性规则，并促进特征空间的内部（间）类一致性（离散度），从而提高了两个强基线模型的精度，并在 PASCAL VOC 2012 上实现了新的最先进水平。

    Oct, 2021

  • 利用形状线索进行弱监督语义分割

    本研究提出了一种基于形状信息的弱监督语义分割方法，采用了新颖的改进方法去增强模型可靠性，能够在单阶段框架内迅速高效地完成训练与推理，在 PASCAL VOC 2012 数据集上的准确率超过了现有的同类方法。

    Aug, 2022

  • 弱监督语义分割的细粒度背景表示

    该研究提出了一种简单的精细背景表示方法，通过开发一个新颖的原始负区域感兴趣（NROI）来捕捉细粒度的背景语义信息，并进行像素与负区域对比，从而区分混淆的背景像素，实现了在各种弱监督语义分割设置下的新的最先进结果。

    Jun, 2024