Nov, 2023

一个轻量级聚类框架用于无监督语义分割

PDF
TL;DR我们提出了一个用于无监督语义分割的轻量级聚类框架，基于自监督视觉变换器的注意特征，通过将这些特征聚类成少量的聚类中心，我们能够将前景和背景的图像补丁分开成不同的组。我们的框架在无监督语义分割方面展示了很大的潜力，并在 PASCAL VOC 和 MS COCO 数据集上取得了最新的成果。
unsupervised semantic segmentationself-supervised vision transformerclustering frameworkattention featuresstate-of-the-art results
发现论文，激发创造
  • 像素级聚类网络用于无监督图像分割

    本文提出了一个像素级聚类框架，用于将图像分割成区域，而无需使用地面真值标注。该框架包括特征嵌入模块、特征统计计算模块、图像重建和超像素分割，以实现准确的无监督分割。此外，我们提出了一种训练策略，利用每个超像素内部一致性、相邻超像素间的相似性 / 差异性和图像结构相似性。我们还提出了一种后处理方法，以避免由基于超像素的损失引起的过分分割。最后，我们扩展了所提方法用于无监督语义分割。通过在三个公开数据集上进行实验，我们证明了所提框架的有效性。实验结果表明，所提框架优于先前的最先进方法。

    Oct, 2023

  • 多视图共分割和聚类变换器的无监督分层语义分割

    本文提出了一种基于像素特征学习的数据驱动的无监督分层语义分割方法，使用同一图像的多视角协同分割来启动特征学习，加入粗细层次间的聚类变换器以确保组织层次间的语义一致性，该方法被称作 'Hierarchical Segment Grouping'，在五个主流目标和场景测评基准上表现良好。

    Apr, 2022

  • 因果无监督语义分割

    无监督语义分割的新框架 CAUSE 基于因果推断，通过前门调整、概念聚类手段实现适当级别的概念分割，从而在无监督语义分割任务中取得了最先进的性能。

    Oct, 2023

  • 通过提炼特征对应关系进行无监督的语义分割

    STEGO 是一种新的自监督特征提取框架，通过使用对比损失函数来加强特征聚类的紧凑性，并在 CocoStuff 和 Cityscapes 语义分割挑战中显著优于其他算法。

    Mar, 2022

  • 基于视觉概念的自监督语义分割

    本文提出了一种自监督的像素表示学习方法，通过使用从图像中提取的视觉概念（例如部件、物体和场景等具有语义意义的像素组）实现语义分割，评估了在三个数据集上学习到的像素嵌入和视觉概念。作者的实验结果表明，该方法在非监督语义分割方面取得了持续和显著的改进，并且视觉概念可以揭示图像数据集的洞见。

    Mar, 2022

  • EAGLE: 物体中心无监督语义分割的特征聚合学习

    基于自监督涵盖对象中心表示学习的对象级无监督语义分割方法 EAGLE，在复杂场景中实现了精确和一致的语义分割效果。

    Mar, 2024

  • 弱监督下物体类别学习与检索

    采用完全可区分的无监督深度聚类方法，仅使用未标记的对象提议，无需个体分类标签来学习语义类，建立特征表示并同时学习聚类。目前该方法仅提供分割对象性掩膜的监督，但该方法可扩展为使用无监督的目标性生成机制，从而使该方法完全无监督。

    Jan, 2018

  • 对比物体掩码提案的无监督语义分割

    本文旨在通过采用对比优化目标中的预定中级先验，引入了一个两步框架来学习像素嵌入，从而解决了计算机视觉中的无监督语义表示学习问题，并证明此方法优于现有方法。

    Feb, 2021

  • 完全自监督学习用于语义分割

    我们提出了一个基于自我监督的完全自我监督语义分割框架，其中包括金字塔全局引导培训策略和上下文感知嵌入模块等组成部分，显著改善了 COCO-Stuff 数据集上物品和物品分类的性能。

    Feb, 2022

  • 野外语境中的语义分割：无需参考任何分割实例

    该论文提出一种基于视觉 - 语言嵌入模型和测试时增强技术的无监督伪标记方法，可以在不需要训练语义分割网络或看到任何分割掩码的情况下为每个对象创建语义分割遮罩。

    Dec, 2021