增强弱监督分割的高保真伪标签

Apr, 2023

High-fidelity Pseudo-labels for Boosting Weakly-Supervised Segmentation

Arvi Jonnarth, Yushan Zhang, Michael Felsberg

TL;DR该论文提出了一种基于图片分类网络和概率解释 CAM 的图像级弱监督语义分割方法来改善先前弱监督下模型的性能，通过提高区域相似性和轮廓质量来增强几乎任何以前的 WSSS 方法，并在 PASCAL VOC 数据集上进行了演示。

Abstract

The task of image-level weakly-supervised semantic segmentation (WSSS) has gained popularity in recent years, as it reduces the vast data annotation cost for training segmentation models. The typical approach for WSSS involves training an image classification network using

image-level weakly-supervised semantic segmentation global average pooling class activation maps probabilistic interpretation state-of-the-art baselines

发现论文，激发创造

基于像素原型对比的弱监督语义分割

本文提出了一种基于像素级原型对比度的弱监督语义分割方法，通过两种直观的先验知识，对图像的不同视角和单个视角内进行执行，旨在实施跨视图特征语义一致性规则，并促进特征空间的内部（间）类一致性（离散度），从而提高了两个强基线模型的精度，并在 PASCAL VOC 2012 上实现了新的最先进水平。

Oct, 2021

利用形状线索进行弱监督语义分割

本研究提出了一种基于形状信息的弱监督语义分割方法，采用了新颖的改进方法去增强模型可靠性，能够在单阶段框架内迅速高效地完成训练与推理，在 PASCAL VOC 2012 数据集上的准确率超过了现有的同类方法。

Aug, 2022

弱监督语义分割中的伪掩模问题

为了解决弱监督语义分割中伪掩模生成和嘈杂伪掩模监督训练的问题，我们提出了一种新的方法，利用系数变化平滑、比例伪掩模生成、假冒欠拟合和循环伪掩模等技术，取得了 PAS-CAL VOC 2012 和 MS COCO 2014 两个语义分割数据集的最新成果，在性能方面全面超越之前的结果。

Aug, 2021

基于 SAM 模型的弱监督语义分割增强伪标签

使用 Segment Anything Model（SAM）结合 Class Activation Maps（CAM）生成更高质量的伪标签，用伪标签为特定类提供信号，选择相关的 mask 并用它们进行标注以产生一个更精确的伪标签，综合我们的方法提高了五种最先进的弱监督语义分割方法的平均伪标签交并比（mIoU）6.2％。

May, 2023

弱监督语义分割的渐进不确定特征自强化

对比传统的像素级监督语义分割，使用图像级标签的弱监督语义分割（WSSS）面临的挑战是始终专注于最具差异性的区域，导致完全监督条件下的不一致。典型的表现是在目标边界上减少了精度，从而导致 WSSS 的准确性下降。为了缓解这个问题，我们提出了一种自适应将图像内容划分为确定性区域（如自信的前景和背景）和不确定性区域（如目标边界和错误分类类别）进行分别处理的方法。对于不确定性提示，我们采用基于激活的掩膜策略，并试图通过自身提炼的知识来恢复局部信息。我们进一步假设未掩膜的自信区域应具有足够的鲁棒性以保持全局语义。基于此，我们引入了一种互补的自我增强方法，它限制了这些自信区域与具有相同类别标签的增强图片之间的语义一致性。通过在 PASCAL VOC 2012 和 MS COCO 2014 上进行的大量实验证明，我们提出的 WSSS 的单阶段方法不仅明显优于最先进的基准方法，而且在复杂性换精度的多阶段方法之上。可以在此 https URL 找到代码。

Dec, 2023

多模式基础模型增强弱监督语义分割：一种端到端方法

使用弱监督语义分割方法解决数据标注成本高的问题，通过借鉴视觉基础模型来学习对象边界从而提高分割结果的质量。

May, 2024

通过匹配局部和完整特征来改进定位的 Puzzle-CAM

提出了一种新的方法，Puzzle-CAM，用于在使用图像级监督的情况下，通过最小化从分离补丁和整个图像的特征之间的差异来发现对象中最集成的区域，以激活对象的整体区域。在 PASCAL VOC 2012 测试数据集上，Puzzle-CAM 的表现优于以前的最先进的方法。

Jan, 2021

基于基础模型辅助的弱监督语义分割

这项研究旨在利用预训练的基础模型，如对比语言图像预训练（CLIP）和分段任意模型（SAM），利用图像级别标签解决弱监督语义分割（WSSS）。为此，我们提出了基于 CLIP 和 SAM 的粗到精细的框架，用于生成高质量的分割种子。我们通过冻结权重的 CLIP 和两组可学习的任务特定提示共同执行图像分类任务和种子分割任务。我们设计了一个基于 SAM 的分区（SAMS）模块，并将其应用于每个任务以生成粗糙或精细的种子图。此外，我们设计了一个多标签对比损失，由图像级别标签监督，和一个由生成的粗糙种子图监督的 CAM 激活损失。这些损失用于学习提示，在我们的框架中，提示是唯一需要学习的部分。一旦学习了提示，我们将每个图像以及学习的分割特定提示输入到 CLIP 和 SAMS 模块中，以生成高质量的分割种子。这些种子用作伪标签，用于训练一种现成的分割网络，就像其他两阶段的 WSSS 方法一样。实验证明，我们的方法在 PASCAL VOC 2012 上取得了最先进的性能，并在 MS COCO 2014 上获得了有竞争力的结果。

Dec, 2023

WSSS 中的阈值问题：操纵激活函数以构建鲁棒准确的分割模型

本文提出了一种基于弱监督的语义分割的新方法，该方法通过操纵激活图来减轻样本分布不平衡和用于全局阈值的过度简化等问题。最后，在 PASCAL VOC 2012 和 MS COCO 2014 数据集上实现了最新的分类记录。

Mar, 2022

通过表示、变换和补偿增强弱监督图像分割

弱监督图像分割是计算机视觉中的关键任务，依赖于图像级别的类别标签。我们提出了一种利用具有对比学习的孪生网络改进类别活动图 (CAMs) 质量并实现自我改善过程的新型单阶段 WSIS 方法。我们的方法在 PASCAL VOC 2012 数据集上实验证明其明显优于其他最先进方法，在 PASCAL VOC 2012 验证集和测试集上分别达到了 67.2% 和 68.76% mIoU。此外，我们的方法在弱监督目标定位任务中也展现出竞争力。

Sep, 2023