CVPRMar, 2023

FreeSeg: 统一、通用和开放词汇库的图像分割

PDF
TL;DR本文提出了一种通用框架 FreeSeg，通过一次训练优化全一体网络，并采用相同的架构和参数在推理过程中无缝处理各种分割任务。此外，自适应提示学习有助于统一的模型捕捉任务感知和类别敏感概念，在多任务和各种场景中提高模型鲁棒性。大量实验结果表明，在三个分割任务上，FreeSeg 在性能和泛化方面建立了新的最先进结果，比最好的任务特定架构高出很大的幅度：在语义分割、实例分割和 COCO 上的全景分割中，未见类别的 PQ 分别达到 5.5％，17.6％和 20.1％。
发现论文，激发创造
  • 利用图像级标签扩展开放词汇图像分割规模

    本文提出了 OpenSeg 模型，通过学习像素的可视化分组和视觉 - 语义对齐，利用可扩展的图像级监督生成分割掩码，从而实现对图像的开放词汇的分割与组织，相对 LSeg 模型在 PASCAL 数据集上精度提高了 19.9 个百分点。

    Dec, 2021

  • 无需指导的开放词汇语义分割

    TAG 是一种新颖的方法，用于在计算机视觉中进行无需训练、注释和指导的开放词汇语义分割，通过利用预训练模型以及来自外部数据库的类别标签检索，达到了在 PascalVOC、PascalContext 和 ADE20K 数据集上的开放词汇分割的最新成果。

    Mar, 2024

  • USE: 通用分段嵌入用于开放词汇库图像分割

    我们介绍了通用段落嵌入（USE）框架，该框架通过数据管道和通用段落嵌入模型，能够准确地将图像划分为各种文本定义的类别，并在开放词汇图像分割和其他下游任务中取得更好的性能。

    Jun, 2024

  • FreeSeg：基于可解释对比语言 - 图像预训练的自由语义分割掩码

    本文提出了一种基于自然语言监督和预训练模型的 FreeSeg 框架，用于开放世界分割任务。它通过 Image-Text Similarity Map（ITSM）获得自由掩码以进行语义分割，而不需要像传统方式一样像素级别的标注。该方法采用了平滑最小池化，局部标签和像素策略等关键技术，使性能超越当前先进水平。

    Sep, 2022

  • 探索简化开放词汇语义分割

    通过 S-Seg 模型，我们可以实现准确的像素级别标签分配，无需依赖于图像级别的 VL 模型、地面实况掩码和自定义分组编码器，并且可以在多个测试数据集上进行良好的泛化而无需进行微调。

    Jan, 2024

  • 分层开放词汇通用图像分割

    本文提出了一种层次化结构的图像分割方法，包括分层表示和分裂的文本图像融合机制，并成功应用于多种分割任务中，包括语义、实例和部分级别的图像理解。

    Jul, 2023

  • 用语言指导进行任意粒度的通用分割

    实现任意语义级别的通用分割模型 UniLSeg，通过语言指导实现各种任务和设置的优秀性能。

    Dec, 2023

  • 无需训练的离线扩散增强原型生成开放词汇分词

    该论文介绍了一种用于开放词汇语义分割的无需训练的扩散增强方法（FreeDA），通过扩散模型的能力来可视化生成概念并通过局部 - 全局相似性将无类别区域与语义类别匹配，从而在五个数据集上实现了超过 7.0 平均 IoU 点的最先进性能，而无需任何训练。

    Apr, 2024

  • UniverSeg：通用医学图像分割

    UniverSeg 利用新的交叉块机制解决了无需额外训练的医学图像分割任务，其中使用的 MegaMedical 数据集包含 53 个开放数据集，22,000 个扫描，UniverSeg 在各种解剖学和成像模式下的训练使其能够在新任务中表现出色。

    Apr, 2023

  • IFSeg：基于视觉语言模型的无图像语义分割

    本文提出了一种新的无图像分割任务，旨在通过视觉语言预训练模型，生成基于语义类别的人工图像分割对，并通过对这些人工对的学习，让预训练模型适应于分割任务，该方法在实验中表现良好。

    Mar, 2023