基于图像级标签的弱监督语义分割:从传统模型到基础模型
本文提出了一种弱参考语义分割方法,通过在基础类别上添加像素级别的注释,来帮助在只有图像级别标签的情况下,分割新类别对象,实验证明此方法在 PASCAL VOC 2012 数据集上表现显著优于传统方法。
Oct, 2021
本文提出了一种基于像素级原型对比度的弱监督语义分割方法,通过两种直观的先验知识,对图像的不同视角和单个视角内进行执行,旨在实施跨视图特征语义一致性规则,并促进特征空间的内部(间)类一致性(离散度),从而提高了两个强基线模型的精度,并在PASCAL VOC 2012上实现了新的最先进水平。
Oct, 2021
该论文提出了一种基于图片分类网络和概率解释CAM的图像级弱监督语义分割方法来改善先前弱监督下模型的性能,通过提高区域相似性和轮廓质量来增强几乎任何以前的WSSS方法,并在PASCAL VOC数据集上进行了演示。
Apr, 2023
我们提出了一种单级WSSS模型(WS-FCN),它可以捕获由相邻特征网格形成的多尺度上下文,并将低级特征中的细粒度空间信息编码到高级特征中,通过全局物体上下文和本地区域内容消除二者的限制。该模型可以有效地进行自我监督,并在PASCAL VOC 2012和MS COCO 2014数据集上实现了最先进的结果。
Apr, 2023
本文介绍将SAM应用于弱监督语义分割,作为伪标签生成流程的方法,在PASCAL VOC和MS-COCO数据集上取得了显著的改进。
May, 2023
使用Segment Anything Model(SAM)结合Class Activation Maps(CAM)生成更高质量的伪标签,用伪标签为特定类提供信号,选择相关的mask并用它们进行标注以产生一个更精确的伪标签,综合我们的方法提高了五种最先进的弱监督语义分割方法的平均伪标签交并比(mIoU)6.2%。
May, 2023
弱监督语义分割方法在不具备像素级标签的训练数据下,通过只有图像级标签进行像素级分类。本文通过提出新的评估指标和收集一个大小平衡的评估集,揭示了现有弱监督语义分割方法在捕捉小物体方面的困难,并提出了一个大小平衡的交叉熵损失函数和适当的训练策略,从而改进现有方法在三个不同数据集上的性能。
Sep, 2023
这项研究旨在利用预训练的基础模型,如对比语言图像预训练(CLIP)和分段任意模型(SAM),利用图像级别标签解决弱监督语义分割(WSSS)。为此,我们提出了基于CLIP和SAM的粗到精细的框架,用于生成高质量的分割种子。我们通过冻结权重的CLIP和两组可学习的任务特定提示共同执行图像分类任务和种子分割任务。我们设计了一个基于SAM的分区(SAMS)模块,并将其应用于每个任务以生成粗糙或精细的种子图。此外,我们设计了一个多标签对比损失,由图像级别标签监督,和一个由生成的粗糙种子图监督的CAM激活损失。这些损失用于学习提示,在我们的框架中,提示是唯一需要学习的部分。一旦学习了提示,我们将每个图像以及学习的分割特定提示输入到CLIP和SAMS模块中,以生成高质量的分割种子。这些种子用作伪标签,用于训练一种现成的分割网络,就像其他两阶段的WSSS方法一样。实验证明,我们的方法在PASCAL VOC 2012上取得了最先进的性能,并在MS COCO 2014上获得了有竞争力的结果。
Dec, 2023
采用无监督和弱监督特征图代替传统方法,通过层次化的掩膜增强实现对弱监督语义分割(WSS)的改进,有效解决了WSS在处理较小类别时的挑战,大幅提升了WSS的性能,并在多个基准数据集上取得了显著的结果改善。
Mar, 2024