Jan, 2024

DatUS^2：使用预训练的自监督视觉 Transformer 进行数据驱动的无监督语义分割

PDF
TL;DR本文提出了一种数据驱动的方法，将无监督密集语义分割任务作为下游任务来评估自我监督训练方案中引入的语义信息质量，并使用所提出的方法（DatUS^2）生成密集伪标注分割掩膜，评估最新的自我监督训练方案，发现其在图像语义分割任务上取得了显著的性能优势。
self-supervised training schemesunsupervised dense semantic segmentationvision transformerdata-driven approachdatus^2
发现论文，激发创造
  • 无监督通用图像分割

    我们提出了一种名为 U2Seg 的无监督通用分割模型，能够使用统一框架执行多种图像分割任务：实例分割、语义分割和全景分割。该方法通过利用自监督模型生成伪语义标签，并在此基础上进行自我训练，达到了与专门设计的方法相比显著的性能提升，同时也为无监督全景分割建立了一个新的基准。此外，在少样本情况下，即只有 1% 的 COCO 标签时，U2Seg 也是强大的预训练模型，比 CutLER 在 APmask 上提升了 5.0 个点。我们希望我们简单而有效的方法能够激发更多关于无监督通用图像分割的研究。

    Dec, 2023

  • 一个轻量级聚类框架用于无监督语义分割

    我们提出了一个用于无监督语义分割的轻量级聚类框架，基于自监督视觉变换器的注意特征，通过将这些特征聚类成少量的聚类中心，我们能够将前景和背景的图像补丁分开成不同的组。我们的框架在无监督语义分割方面展示了很大的潜力，并在 PASCAL VOC 和 MS COCO 数据集上取得了最新的成果。

    Nov, 2023

  • 自训练方式提升语义分割

    本文提出了一种半监督学习的方法，即自我训练范式，通过用标注数据训练教师模型并在大量未标注数据上生成伪标签，以较少的监督实现像素级准确模型，并在 Cityscapes，CamVid 和 KITTI 数据集上取得了最优表现，同时，在具有挑战性的跨域泛化任务上表现更佳，最后，为了减轻大量伪标签带来的计算负担，提出了一种快速训练计划来加速分割模型的训练。

    Apr, 2020

  • 因果无监督语义分割

    无监督语义分割的新框架 CAUSE 基于因果推断，通过前门调整、概念聚类手段实现适当级别的概念分割，从而在无监督语义分割任务中取得了最先进的性能。

    Oct, 2023

  • U3DS$^3$: 无监督的三维语义场景分割

    针对任何整体三维场景，本论文提出了 U3DS$^3$ 作为一个完全无监督的点云分割方法，通过利用点云的固有信息来实现全三维场景分割，并且在 ScanNet、SemanticKITTI 和 S3DIS 数据集上提供了最新的研究成果和具有竞争力的结果。

    Nov, 2023

  • 完全自监督学习用于语义分割

    我们提出了一个基于自我监督的完全自我监督语义分割框架，其中包括金字塔全局引导培训策略和上下文感知嵌入模块等组成部分，显著改善了 COCO-Stuff 数据集上物品和物品分类的性能。

    Feb, 2022

  • 利用自监督深度估计提高语义分割的三种方法

    提出了一种半监督语义分割的框架，采用自监督单目深度估计和利用场景几何形状强数据扩增的方式，结合深度特征差异和难度级别，通过学生 - 教师框架选择最有用的样本进行语义分割的注释，实现了在 Cityscapes 数据集上半监督语义分割的最好结果。

    Dec, 2020

  • 半监督语义分割的三阶段自我训练框架

    该研究提出了一种分阶段的自我训练框架，使用伪掩模的统计信息来降低预测概率的不确定性以及通过多任务模型在一定程度上强制执行分割一致性，从而实现半监督语义分割的性能并表现出与现有方法相当。

    Dec, 2020

  • 自监督遮蔽数字高程模型编码用于低资源下游任务

    利用自我监督学习方法，通过预训练的遮蔽自动编码器在 Digital Elevation Models 上提取建筑物和道路分割，有效利用有限的标注数据，为地表变化频繁的任务提供数据高效的学习器。

    Sep, 2023

  • 自监督预训练用于二维医学图像分割

    本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在 ImageNet 上可以获得最佳精度。

    Sep, 2022