Jun, 2023

探索无人类标签的开放词汇语义分割

PDF
TL;DR该论文介绍了一种使用预训练的图像 - 语言模型进行零样本学习的语义分割方法，将预训练模型中的视觉概念知识转化为分割区域的语义信息表示（即 segment tokens）并应用于视觉语义分割任务中。实验结果表明，该方法在多个公共基准数据集上可以达到与有监督训练方法相竞争的效果。
semantic segmentationcomputer visionzero-shot learningpretrained modelsegment tokens
发现论文，激发创造
  • 无需指导的开放词汇语义分割

    TAG 是一种新颖的方法，用于在计算机视觉中进行无需训练、注释和指导的开放词汇语义分割，通过利用预训练模型以及来自外部数据库的类别标签检索，达到了在 PascalVOC、PascalContext 和 ADE20K 数据集上的开放词汇分割的最新成果。

    Mar, 2024

  • 自我训练在零标签语义分割中的应用

    本研究提出使用自我生成伪标签来捕捉未标注图像数据中的潜在信息，在同一张图像的不同数据增强生成的多个伪标签交集的一致性正则化过滤噪声伪标签，结合人工标注数据重新训练模型，并不断迭代，以此达到在复杂的零标签语义分割场景下进行广义分类的任务的最新最优结果。

    Apr, 2021

  • 通过对比和聚类视觉语言嵌入进行开放世界语义分割

    本文提出了一种基于图像文本交互的语义分割模型 ViL-Seg，通过无需密集标注的方式，利用网络上自然存在的图像和文本数据，学习到能够直接分割任意开放世界类别对象的能力，实验结果在三个基准数据集上优于需要数据标注的零样本分割方法。

    Jul, 2022

  • 探索简化开放词汇语义分割

    通过 S-Seg 模型，我们可以实现准确的像素级别标签分配，无需依赖于图像级别的 VL 模型、地面实况掩码和自定义分组编码器，并且可以在多个测试数据集上进行良好的泛化而无需进行微调。

    Jan, 2024

  • 自导引开放词汇语义分割

    通过提出自主引导的语义分割（Self-Seg）框架和基于 LLM 的开放式词汇评估器（LOVE），在不需要提供类别名称的情况下，实现了开放式词汇分割的最新成果，并与提供类别名称的方法相竞争，取得了 Pascal VOC、ADE20K 和 CityScapes 的最具竞争力的结果。

    Dec, 2023

  • 利用图像级标签扩展开放词汇图像分割规模

    本文提出了 OpenSeg 模型，通过学习像素的可视化分组和视觉 - 语义对齐，利用可扩展的图像级监督生成分割掩码，从而实现对图像的开放词汇的分割与组织，相对 LSeg 模型在 PASCAL 数据集上精度提高了 19.9 个百分点。

    Dec, 2021

  • 零样本语义分割

    本文提出了一个新的任务：零样本语义分割，要求学习像素级分类器从未见过的物体类别中进行分类。ZS3Net 是本文提出的一种新架构，它将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合，以实现在测试时间处理已见和未见类别的像素分类任务。本文还通过自我训练进一步提高了性能，并在 Pascal-VOC 和 Pascal-Context 两个标准分割数据集上提出了零样本基准并设立竞争基线。此外，对于像 Pascal-Context 数据集中的复杂场景，我们通过使用图形上下文编码来完全利用来自类别分割地图的空间上下文先验知识。

    Jun, 2019

  • 一个开放词汇的零样本分割的简单框架

    通过使用冻结的仅包含视觉信息的模型和融合离散文本和语言知识的方式，我们提出了 SimZSS，一种用于开放性词汇的零样本分割的简单框架。在仅使用图像 - 标题对数据集进行训练的情况下，我们的方法利用了视觉表示的质量，并在不到 15 分钟的时间内在 8 个基准数据集中的 7 个上实现了最先进的结果。

    Jun, 2024

  • 野外语境中的语义分割：无需参考任何分割实例

    该论文提出一种基于视觉 - 语言嵌入模型和测试时增强技术的无监督伪标记方法，可以在不需要训练语义分割网络或看到任何分割掩码的情况下为每个对象创建语义分割遮罩。

    Dec, 2021

  • 零样本开放词汇分割的扩散模型

    本文提出了一种基于大规模文本到图像扩散模型的零样本开放词库分割方法，通过考虑采样的图像的背景来更好地定位对象并直接分割背景，并证明该方法可以在多个基准测试中表现出色，在 Pascal VOC 基准测试上领先了超过 10%。

    Jun, 2023