May, 2023

基于 SAM 伪标记和多尺度特征分组的弱监督隐蔽目标分割

PDF
TL;DR提出一种用于弱监督下的隐蔽物体分割的方法，利用多尺度特征分组模块处理内在相似性问题，并采用 Segment Anything Model 和基于熵的像素加权策略进行模型训练，同时应用基于熵的图像选择策略来减轻低质量分割蒙版的影响，实验证明该方法在各种 WSCOS 任务上取得了最先进的性能。
weakly-supervisedconcealed object segmentationmulti-scale feature grouping modulesegment anything modelentropy-based selection
发现论文，激发创造
  • WeakSAM：融合分割与弱监督实例级别识别的方法

    使用弱监督的视觉识别方法，借助预训练的视觉基础模型（SAM）中的世界知识，解决了弱监督对象检测和分割中的限制问题，并在 WSOD 和 WSIS 基准测试上显著超过了之前的最先进方法。

    Feb, 2024

  • 多模式基础模型增强弱监督语义分割：一种端到端方法

    使用弱监督语义分割方法解决数据标注成本高的问题，通过借鉴视觉基础模型来学习对象边界从而提高分割结果的质量。

    May, 2024

  • 基于基础模型辅助的弱监督语义分割

    这项研究旨在利用预训练的基础模型，如对比语言图像预训练（CLIP）和分段任意模型（SAM），利用图像级别标签解决弱监督语义分割（WSSS）。为此，我们提出了基于 CLIP 和 SAM 的粗到精细的框架，用于生成高质量的分割种子。我们通过冻结权重的 CLIP 和两组可学习的任务特定提示共同执行图像分类任务和种子分割任务。我们设计了一个基于 SAM 的分区（SAMS）模块，并将其应用于每个任务以生成粗糙或精细的种子图。此外，我们设计了一个多标签对比损失，由图像级别标签监督，和一个由生成的粗糙种子图监督的 CAM 激活损失。这些损失用于学习提示，在我们的框架中，提示是唯一需要学习的部分。一旦学习了提示，我们将每个图像以及学习的分割特定提示输入到 CLIP 和 SAMS 模块中，以生成高质量的分割种子。这些种子用作伪标签，用于训练一种现成的分割网络，就像其他两阶段的 WSSS 方法一样。实验证明，我们的方法在 PASCAL VOC 2012 上取得了最先进的性能，并在 MS COCO 2014 上获得了有竞争力的结果。

    Dec, 2023

  • 增强弱监督分割的高保真伪标签

    该论文提出了一种基于图片分类网络和概率解释 CAM 的图像级弱监督语义分割方法来改善先前弱监督下模型的性能，通过提高区域相似性和轮廓质量来增强几乎任何以前的 WSSS 方法，并在 PASCAL VOC 数据集上进行了演示。

    Apr, 2023

  • 基于 SAM 模型的弱监督语义分割增强伪标签

    使用 Segment Anything Model（SAM）结合 Class Activation Maps（CAM）生成更高质量的伪标签，用伪标签为特定类提供信号，选择相关的 mask 并用它们进行标注以产生一个更精确的伪标签，综合我们的方法提高了五种最先进的弱监督语义分割方法的平均伪标签交并比（mIoU）6.2％。

    May, 2023

  • 弱监督语义分割的渐进不确定特征自强化

    对比传统的像素级监督语义分割，使用图像级标签的弱监督语义分割（WSSS）面临的挑战是始终专注于最具差异性的区域，导致完全监督条件下的不一致。典型的表现是在目标边界上减少了精度，从而导致 WSSS 的准确性下降。为了缓解这个问题，我们提出了一种自适应将图像内容划分为确定性区域（如自信的前景和背景）和不确定性区域（如目标边界和错误分类类别）进行分别处理的方法。对于不确定性提示，我们采用基于激活的掩膜策略，并试图通过自身提炼的知识来恢复局部信息。我们进一步假设未掩膜的自信区域应具有足够的鲁棒性以保持全局语义。基于此，我们引入了一种互补的自我增强方法，它限制了这些自信区域与具有相同类别标签的增强图片之间的语义一致性。通过在 PASCAL VOC 2012 和 MS COCO 2014 上进行的大量实验证明，我们提出的 WSSS 的单阶段方法不仅明显优于最先进的基准方法，而且在复杂性换精度的多阶段方法之上。可以在此 https URL 找到代码。

    Dec, 2023

  • 基于层次连贯建模的隐蔽物体分割

    本文提出了一种用于隐蔽物体分割的分层一致性建模器，以解决现有分割器在极度隐蔽场景中无法完全实现分割结果的问题。通过利用单一阶段和上下文级别的特征相关性，HCM 分割器在提升特征一致性方面起到了积极作用。此外，引入可逆重新校准解码器，以检测低置信区域中先前未检测到的部分，进一步提高了分割性能。在包括伪装物体检测、息肉图像分割和透明物体检测在内的三个隐蔽物体分割任务上进行的大量实验证明了 HCM 分割器的良好效果。

    Jan, 2024

  • 基于图像级标签的弱监督语义分割：从传统模型到基础模型

    基于图像级标签的弱监督语义分割是有效的避免昂贵标注的解决方案。本文首先对传统方法进行全面调研，然后研究了在弱监督语义分割中视觉基础模型（如 SAM）的适用性和挑战，为该研究领域的未来发展提供了深入的见解。

    Oct, 2023

  • 将全局上下文和局部内容耦合在一起进行弱监督语义分割

    我们提出了一种单级 WSSS 模型（WS-FCN），它可以捕获由相邻特征网格形成的多尺度上下文，并将低级特征中的细粒度空间信息编码到高级特征中，通过全局物体上下文和本地区域内容消除二者的限制。该模型可以有效地进行自我监督，并在 PASCAL VOC 2012 和 MS COCO 2014 数据集上实现了最先进的结果。

    Apr, 2023

  • 联合弱监督学习语义匹配和物体共分割：展示、匹配和分割

    我们提出了一种联合匹配和分割图像集合中同一类别的对象实例的方法，这种方法利用了两个任务的互补性，通过从语义匹配得到的估计密集对应场来提供对象共分割的监督，并且从对象共分割得到的预测对象掩码来改善语义匹配的性能，我们的算法在五个基准数据集上表现优异。

    Jun, 2019