CLUSTSEG: 通用分割的聚类
本文提出了一个像素级聚类框架,用于将图像分割成区域,而无需使用地面真值标注。该框架包括特征嵌入模块、特征统计计算模块、图像重建和超像素分割,以实现准确的无监督分割。此外,我们提出了一种训练策略,利用每个超像素内部一致性、相邻超像素间的相似性 / 差异性和图像结构相似性。我们还提出了一种后处理方法,以避免由基于超像素的损失引起的过分分割。最后,我们扩展了所提方法用于无监督语义分割。通过在三个公开数据集上进行实验,我们证明了所提框架的有效性。实验结果表明,所提框架优于先前的最先进方法。
Oct, 2023
我们提出了一个用于无监督语义分割的轻量级聚类框架,基于自监督视觉变换器的注意特征,通过将这些特征聚类成少量的聚类中心,我们能够将前景和背景的图像补丁分开成不同的组。我们的框架在无监督语义分割方面展示了很大的潜力,并在 PASCAL VOC 和 MS COCO 数据集上取得了最新的成果。
Nov, 2023
我们提出了一种名为 U2Seg 的无监督通用分割模型,能够使用统一框架执行多种图像分割任务:实例分割、语义分割和全景分割。该方法通过利用自监督模型生成伪语义标签,并在此基础上进行自我训练,达到了与专门设计的方法相比显著的性能提升,同时也为无监督全景分割建立了一个新的基准。此外,在少样本情况下,即只有 1% 的 COCO 标签时,U2Seg 也是强大的预训练模型,比 CutLER 在 APmask 上提升了 5.0 个点。我们希望我们简单而有效的方法能够激发更多关于无监督通用图像分割的研究。
Dec, 2023
本文提出了一种基于像素特征学习的数据驱动的无监督分层语义分割方法,使用同一图像的多视角协同分割来启动特征学习,加入粗细层次间的聚类变换器以确保组织层次间的语义一致性,该方法被称作 'Hierarchical Segment Grouping',在五个主流目标和场景测评基准上表现良好。
Apr, 2022
本文提出了一种通用框架 FreeSeg,通过一次训练优化全一体网络,并采用相同的架构和参数在推理过程中无缝处理各种分割任务。此外,自适应提示学习有助于统一的模型捕捉任务感知和类别敏感概念,在多任务和各种场景中提高模型鲁棒性。大量实验结果表明,在三个分割任务上,FreeSeg 在性能和泛化方面建立了新的最先进结果,比最好的任务特定架构高出很大的幅度:在语义分割、实例分割和 COCO 上的全景分割中,未见类别的 PQ 分别达到 5.5%,17.6%和 20.1%。
Mar, 2023
LSeg 是一种用于语言驱动语义图像分割的新模型,使用文本编码器计算输入标签的嵌入,和基于 transformer 的图像编码器计算输入图像的嵌入,实现像 “草” 或 “建筑” 这样描述性的输入标签的密集像素嵌入,该模型利用语义类相应的文本嵌入与像素嵌入各自计算来训练图像编码器,实现了在测试阶段对未曾见过的类别进行泛化而不需要重新训练或仅需要单个样本的训练,且具有高度竞争的零 - shot 性能。
Jan, 2022
提出了名为 CPSeg 的新型实时端到端全景分割网络,该网络采用共享编码器、双解码器和无聚类实例分割头,以动态支柱化前景点,通过学习嵌入来获得实例标签,并通过成对嵌入比较找到连接柱来转化传统的基于提案或聚类的实例分割为二元分割问题。在 SemanticKITTI 和 nuScenes 两个大规模自动驾驶数据集上进行了基准测试,结果表明 CPSeg 在两个数据集上都达到了实时方法的最先进水平。
Nov, 2021
UniverSeg 利用新的交叉块机制解决了无需额外训练的医学图像分割任务,其中使用的 MegaMedical 数据集包含 53 个开放数据集,22,000 个扫描,UniverSeg 在各种解剖学和成像模式下的训练使其能够在新任务中表现出色。
Apr, 2023
通过使用超像素与现代 Transformer 框架相结合,本研究提出一种能在语义分割领域获得最先进性能的方法,通过学习将像素空间分解为低维超像素空间,并运用多头自注意力机制来丰富超像素特征以获得全局上下文信息,最终实现了更高的计算效率和模型性能。
Sep, 2023
本文提出了一种基于 StyleGAN2 模型和 CLIP prompts 的自动图像分割方法,可以发现意义明确且一致的语义类群,从而创建合成数据集进行训练,并在公开数据集上展示了最新的结果。
Jul, 2021