May, 2023

基于 PyTorch 的开源监督语义分割工具箱 SSSegmenation

PDF
TL;DR这篇论文提出了 SSSegmentation，这是一个基于 PyTorch 的开源有监督语义图像分割工具箱，它基于 MMSegmentation 的设计，但由于更少的依赖因此更容易使用，在相似的训练和测试设置下实现了更优异的分割性能；此外，该工具箱还为流行和现代语义分割方法提供了大量的预训练权重，包括 Deeplab、PSPNet、OCRNet、MaskFormer 等等。
sssegmenationsemantic image segmentationpytorchtrained weightsdeeplab
发现论文，激发创造
  • 多模式基础模型增强弱监督语义分割：一种端到端方法

    使用弱监督语义分割方法解决数据标注成本高的问题，通过借鉴视觉基础模型来学习对象边界从而提高分割结果的质量。

    May, 2024

  • 半监督语义分割的三阶段自我训练框架

    该研究提出了一种分阶段的自我训练框架，使用伪掩模的统计信息来降低预测概率的不确定性以及通过多任务模型在一定程度上强制执行分割一致性，从而实现半监督语义分割的性能并表现出与现有方法相当。

    Dec, 2020

  • 面向弱监督语义分割的分组语义挖掘

    本研究提出一种基于图神经网络的弱监督语义分割方法，将图像表示为图的节点，使用组内注意力机制建立图中的关系，通过迭代信息传递的方式学习更准确、更完整的物体响应，并在多个基准数据集上取得了最先进的性能。

    Dec, 2020

  • PaddleSeg: 图像分割高效开发工具包

    介绍了一个用于图像分割的高效开发工具包 PaddleSeg，并展示了基于该工具包训练出的分割模型在精度等方面的竞争力。

    Jan, 2021

  • SemPLeS：弱监督语义分割的语义提示学习

    我们提出了一种名为 “SemPLeS” 的框架，通过学习有效地提示 CLIP 空间，以增强分割区域与目标对象类别之间的语义对齐，从而产生训练分割模型所需的伪掩码。在 PASCAL VOC 和 MS COCO 等标准 WSSS 基准测试中，我们所提出的 SemPLeS 框架实现了最先进的性能，并通过我们学到的提示的语义可视化展示了其解释性，代码将会发布。

    Jan, 2024

  • 显著性检测和弱监督语义分割的联合学习

    文章提出通过统一的多任务学习框架，使用单个网络解决 WSSS 和 SD 任务，该框架由一个分割网络和一个显著性聚合模块组成，在图像级别和类别无关像素级显著性标签下，端到端训练并在 PASCAL VOC 2012 数据集和四个显著性基准数据集上得到了较好的性能表现。

    Sep, 2019

  • 基于基础模型辅助的弱监督语义分割

    这项研究旨在利用预训练的基础模型，如对比语言图像预训练（CLIP）和分段任意模型（SAM），利用图像级别标签解决弱监督语义分割（WSSS）。为此，我们提出了基于 CLIP 和 SAM 的粗到精细的框架，用于生成高质量的分割种子。我们通过冻结权重的 CLIP 和两组可学习的任务特定提示共同执行图像分类任务和种子分割任务。我们设计了一个基于 SAM 的分区（SAMS）模块，并将其应用于每个任务以生成粗糙或精细的种子图。此外，我们设计了一个多标签对比损失，由图像级别标签监督，和一个由生成的粗糙种子图监督的 CAM 激活损失。这些损失用于学习提示，在我们的框架中，提示是唯一需要学习的部分。一旦学习了提示，我们将每个图像以及学习的分割特定提示输入到 CLIP 和 SAMS 模块中，以生成高质量的分割种子。这些种子用作伪标签，用于训练一种现成的分割网络，就像其他两阶段的 WSSS 方法一样。实验证明，我们的方法在 PASCAL VOC 2012 上取得了最先进的性能，并在 MS COCO 2014 上获得了有竞争力的结果。

    Dec, 2023

  • FreeSeg: 统一、通用和开放词汇库的图像分割

    本文提出了一种通用框架 FreeSeg，通过一次训练优化全一体网络，并采用相同的架构和参数在推理过程中无缝处理各种分割任务。此外，自适应提示学习有助于统一的模型捕捉任务感知和类别敏感概念，在多任务和各种场景中提高模型鲁棒性。大量实验结果表明，在三个分割任务上，FreeSeg 在性能和泛化方面建立了新的最先进结果，比最好的任务特定架构高出很大的幅度：在语义分割、实例分割和 COCO 上的全景分割中，未见类别的 PQ 分别达到 5.5％，17.6％和 20.1％。

    Mar, 2023

  • 半监督自修正语义图像分割网络

    本研究介绍了一种半监督框架，通过一个辅助模型和一个自我纠正模块，在只有一小部分完全有监督图像的基础上，使用具有目标边界框标签的图像和只有目标边界框标签的图像集（称为弱集），训练出高质量的语义分割模型，这种方法比传统大量完全有监督数据模型要求的标注工作量减少～7 倍。

    Nov, 2018

  • 基于图像级标签的弱监督语义分割：从传统模型到基础模型

    基于图像级标签的弱监督语义分割是有效的避免昂贵标注的解决方案。本文首先对传统方法进行全面调研，然后研究了在弱监督语义分割中视觉基础模型（如 SAM）的适用性和挑战，为该研究领域的未来发展提供了深入的见解。

    Oct, 2023