无监督通用图像分割

Dec, 2023

Unsupervised Universal Image Segmentation

Dantong Niu, Xudong Wang, Xinyang Han, Long Lian, Roei Herzig...

TL;DR我们提出了一种名为 U2Seg 的无监督通用分割模型，能够使用统一框架执行多种图像分割任务：实例分割、语义分割和全景分割。该方法通过利用自监督模型生成伪语义标签，并在此基础上进行自我训练，达到了与专门设计的方法相比显著的性能提升，同时也为无监督全景分割建立了一个新的基准。此外，在少样本情况下，即只有 1% 的 COCO 标签时，U2Seg 也是强大的预训练模型，比 CutLER 在 APmask 上提升了 5.0 个点。我们希望我们简单而有效的方法能够激发更多关于无监督通用图像分割的研究。

Abstract

Several unsupervised image segmentation approaches have been proposed which eliminate the need for dense manually-annotated segmentation masks; current models separately handle either semantic segmentation (e.g.,

unsupervised image segmentation semantic segmentation instance segmentation panoptic segmentation u2seg

发现论文，激发创造

UniverSeg：通用医学图像分割

UniverSeg 利用新的交叉块机制解决了无需额外训练的医学图像分割任务，其中使用的 MegaMedical 数据集包含 53 个开放数据集，22,000 个扫描，UniverSeg 在各种解剖学和成像模式下的训练使其能够在新任务中表现出色。

Apr, 2023

通用半监督语义分割

本文提出了一种通用的半监督语义分割框架，旨在在各种应用领域实现更低的注释和部署成本，并通过像素感知熵正则化的特征对齐目标来最小化有监督以及无监督损失，以实现在多个领域中都能使用单一模型，利用少量标记实现性能提升，同时可以处理不同领域的标签空间不同的问题。

Nov, 2018

CLUSTSEG: 通用分割的聚类

CLUSTSEG 是一个基于 transformer 的通用框架，通过统一的神经聚类方案解决不同的图像分割任务，并通过两个创新方面实现。像 EM 聚类一样，这些创新使 CLUSTSEG 成为一个透明而强大的框架，在上述分割任务中产生优越的结果。

May, 2023

弱监督和半监督全景分割

这篇论文提出了一种弱监督的模型，能够同时执行语义分割和实例分割任务，并使用图像级别标签弱监督 “stuff” 类别的分割，以及使用边界框弱监督 “thing” 类别的分割。通过分析注释质量和预测性能之间的关系，可以对数据集的创建有所启示。

Aug, 2018

VideoCutLER：惊人简单的无监督视频实例分割

使用高质量伪蒙版和简单的视频合成方法进行模型训练，能够在视频中有效地分割和追踪多个实例，实现了具有竞争力的无监督学习结果。

Aug, 2023

无监督物体检测和实例分割的切割学习

提出了一种名为 Cut-and-LEaRn（CutLER）的简单方法，以训练无监督的物体检测和分割模型，它首先使用所提出的 MaskCut 方法生成图像中多个对象的粗略蒙版，然后在这些蒙版上学习检测器，最后通过对模型的预测进行自我训练实现零样本无监督检测，大幅提升检测性能。

Jan, 2023

FreeSeg: 统一、通用和开放词汇库的图像分割

本文提出了一种通用框架 FreeSeg，通过一次训练优化全一体网络，并采用相同的架构和参数在推理过程中无缝处理各种分割任务。此外，自适应提示学习有助于统一的模型捕捉任务感知和类别敏感概念，在多任务和各种场景中提高模型鲁棒性。大量实验结果表明，在三个分割任务上，FreeSeg 在性能和泛化方面建立了新的最先进结果，比最好的任务特定架构高出很大的幅度：在语义分割、实例分割和 COCO 上的全景分割中，未见类别的 PQ 分别达到 5.5％，17.6％和 20.1％。

Mar, 2023

像素级聚类网络用于无监督图像分割

本文提出了一个像素级聚类框架，用于将图像分割成区域，而无需使用地面真值标注。该框架包括特征嵌入模块、特征统计计算模块、图像重建和超像素分割，以实现准确的无监督分割。此外，我们提出了一种训练策略，利用每个超像素内部一致性、相邻超像素间的相似性 / 差异性和图像结构相似性。我们还提出了一种后处理方法，以避免由基于超像素的损失引起的过分分割。最后，我们扩展了所提方法用于无监督语义分割。通过在三个公开数据集上进行实验，我们证明了所提框架的有效性。实验结果表明，所提框架优于先前的最先进方法。

Oct, 2023

样式分割：使用 StyleGAN 和 CLIP 的无监督语义图像分割

本文提出了一种基于 StyleGAN2 模型和 CLIP prompts 的自动图像分割方法，可以发现意义明确且一致的语义类群，从而创建合成数据集进行训练，并在公开数据集上展示了最新的结果。

Jul, 2021

DatUS^2：使用预训练的自监督视觉 Transformer 进行数据驱动的无监督语义分割

本文提出了一种数据驱动的方法，将无监督密集语义分割任务作为下游任务来评估自我监督训练方案中引入的语义信息质量，并使用所提出的方法（DatUS^2）生成密集伪标注分割掩膜，评估最新的自我监督训练方案，发现其在图像语义分割任务上取得了显著的性能优势。

Jan, 2024