Apr, 2024

再思视觉显著性引导的弱监督语义分割

PDF
TL;DR基于对显著性图在弱监督语义分割中的作用的新见解和实证发现，该论文提出了对显著性图的新视角，并展示了其在研究方向上的启示。通过全面的实验，发现显著性图的质量是显著性引导的弱监督语义分割中的关键因素；同时指出之前研究中使用的显著性图往往是任意选择的，尽管它们对于弱监督语义分割具有重要影响；此外，注意到之前对于阈值选择的关注较少，但在弱监督语义分割中具有重要性。为了促进显著性引导的弱监督语义分割的更有意义和严密的研究，介绍了 exttt {WSSS-BED}，这是一个用于在统一条件下进行研究的标准化框架，提供了七种 WSSS 方法的各种显著性图和激活图，以及来自无监督显著目标检测模型的显著性图。
saliency mapsweakly-supervised semantic segmentationsaliency-guided wsssthresholdwsss-bed
发现论文，激发创造
  • 基于显著性引导的自注意力网络用于弱监督和半监督语义分割

    该论文提出一种基于自注视网络和显著性先验的半监督语义分割模型，能够准确地定位并分割图像区域，且在 PASCAL VOC 2012 上的表现优于目前所有其他先进方法。

    Oct, 2019

  • 显著性检测和弱监督语义分割的联合学习

    文章提出通过统一的多任务学习框架，使用单个网络解决 WSSS 和 SD 任务，该框架由一个分割网络和一个显著性聚合模块组成，在图像级别和类别无关像素级显著性标签下，端到端训练并在 PASCAL VOC 2012 数据集和四个显著性基准数据集上得到了较好的性能表现。

    Sep, 2019

  • 强化弱监督语义分割的双重亲和学习增强的辅助任务

    提出 AuxSegNet + 框架，使用正好标定过的图片级别标签，通过关联任务 -- 显著性检测和多标签图像分类以及交叉任务亲和学习机制，改进了弱监督语义分割的性能，并在 PASCAL VOC 和 MS COCO 数据集上取得了新的最先进结果。

    Mar, 2024

  • 弱监督语义分割的渐进不确定特征自强化

    对比传统的像素级监督语义分割，使用图像级标签的弱监督语义分割（WSSS）面临的挑战是始终专注于最具差异性的区域，导致完全监督条件下的不一致。典型的表现是在目标边界上减少了精度，从而导致 WSSS 的准确性下降。为了缓解这个问题，我们提出了一种自适应将图像内容划分为确定性区域（如自信的前景和背景）和不确定性区域（如目标边界和错误分类类别）进行分别处理的方法。对于不确定性提示，我们采用基于激活的掩膜策略，并试图通过自身提炼的知识来恢复局部信息。我们进一步假设未掩膜的自信区域应具有足够的鲁棒性以保持全局语义。基于此，我们引入了一种互补的自我增强方法，它限制了这些自信区域与具有相同类别标签的增强图片之间的语义一致性。通过在 PASCAL VOC 2012 和 MS COCO 2014 上进行的大量实验证明，我们提出的 WSSS 的单阶段方法不仅明显优于最先进的基准方法，而且在复杂性换精度的多阶段方法之上。可以在此 https URL 找到代码。

    Dec, 2023

  • 基于像素原型对比的弱监督语义分割

    本文提出了一种基于像素级原型对比度的弱监督语义分割方法，通过两种直观的先验知识，对图像的不同视角和单个视角内进行执行，旨在实施跨视图特征语义一致性规则，并促进特征空间的内部（间）类一致性（离散度），从而提高了两个强基线模型的精度，并在 PASCAL VOC 2012 上实现了新的最先进水平。

    Oct, 2021

  • 弱监督语义分割的激活调制和重新校准方案

    提出了一种活动调制和校准 (AMR) 方案，利用聚光分支和补偿分支获得加权的 CAMs，提供重新校准和任务特定的概念来提高图像级弱监督语义分割的性能。

    Dec, 2021

  • 利用形状线索进行弱监督语义分割

    本研究提出了一种基于形状信息的弱监督语义分割方法，采用了新颖的改进方法去增强模型可靠性，能够在单阶段框架内迅速高效地完成训练与推理，在 PASCAL VOC 2012 数据集上的准确率超过了现有的同类方法。

    Aug, 2022

  • 基于多尺度注意融合的自训练框架用于弱监督语义分割

    提出一种利用多尺度类别感知度量融合的自训练方法，采集不同尺度的注意力图信息并应用去噪和激活策略来增强潜在区域和减少嘈杂区域，最后利用优化后的注意力图重新训练模型，实验证明该方法可以从多尺度图像提取丰富的语义信息，并在 PASCAL VOC 2012 验证集和测试集上实现了 72.4% 的平均交并比得分。

    May, 2023

  • WSSS 中的阈值问题：操纵激活函数以构建鲁棒准确的分割模型

    本文提出了一种基于弱监督的语义分割的新方法，该方法通过操纵激活图来减轻样本分布不平衡和用于全局阈值的过度简化等问题。最后，在 PASCAL VOC 2012 和 MS COCO 2014 数据集上实现了最新的分类记录。

    Mar, 2022

  • 超越判别区域：作为 CAM 替代品的显著性图用于弱监督语义分割

    近年来，提出了几种使用分类器生成的类激活图（CAMs）产生伪地面实况用于训练分割模型的弱监督语义分割（WS3）方法。本文对 WS3 中的类激活图（CAMs）和显著图进行了全面比较，并提出了新的评估指标，以全面评估 WS3 中替代方法的性能。我们通过对基准数据集进行的实证研究，证明了显著图在解决类激活图（CAMs）的局限性方面的有效性。此外，我们提出了随机裁剪作为一种随机聚合技术，提高了显著图的性能，并使其成为 WS3 中强有力的类激活图（CAMs）替代方法。

    Aug, 2023