Dec, 2023

语义辅助校准的开放词库分割

HTML
PDF
TL;DR本文通过使用CLIP的广义上下文先验，通过校准在词汇内和领域偏置的嵌入空间，研究开放词汇分割（OVS）。为了解决这一挑战，我们提出了一个称为Semantic-assisted CAlibration Network（SCAN）的方法，并引入了广义语义先验以避免在已知类别上崩溃。此外，我们还提出了一种名为Semantic-Guided IoU（SG-IoU）的新度量标准，以解决现有评估系统忽略分类间语义重复的问题。
发现论文，激发创造
  • 利用图像级标签扩展开放词汇图像分割规模

    本文提出了OpenSeg模型，通过学习像素的可视化分组和视觉-语义对齐，利用可扩展的图像级监督生成分割掩码，从而实现对图像的开放词汇的分割与组织，相对LSeg模型在PASCAL数据集上精度提高了19.9个百分点。

    Dec, 2021

  • 使用适应掩码的CLIP进行开放词汇语义分割

    该论文提出了一种针对开放词汇的语义分割方法，即通过预训练模型再特定训练样本上的微调和修正，来解决预训练模型在遮蔽图像上的效果问题，从而提高模型的泛化能力，并通过遮蔽抽取方法有效地提高了语义分割的效果。

    Oct, 2022

  • 从自然语言监督中学习开放词汇语义分割模型

    本文提出一种基于Transformer的模型用于开放词汇语义分割（Open-Vocabulary Semantic Segmentation, OVS），该模型通过使用网络爬虫图像-文本对进行预训练，并提出了两种代理任务和数据集以提高训练效率和分割结果。在三个基准数据集上实现了优异的零-shot迁移效果。

    Jan, 2023

  • TagCLIP：提高开放式语料库语义分割的区分能力

    本研究针对 CLIP 在像素级开放词汇学习任务中面临的输入像素误识别问题，提出了一种名为 TagCLIP 的改进方法，通过引入一种名为 trusty token 的可信标记，成功提高了现有模型的泛化容量。针对 PASCAL VOC 2012 和 COCO-Stuff 164K 两大数据集，TagCLIP 对于未知分类的 IOU 值均有显著提升。

    Apr, 2023

  • 卷积永难逝：单冻结卷积CLIP的开放词汇分割

    使用共享的冻结卷积CLIP骨干网络，将当前的两阶段流程大大简化，并显著提高准确性和成本平衡，成为各种开放词汇语义分割数据集中的最新最佳表现。

    Aug, 2023

  • 开放词汇伪装物体分割

    最近，大规模视觉语言模型（VLM）的出现，如CLIP，为开放世界的物体感知打开了道路。我们提出了一个新的任务，开放词汇伪装的物体分割（OVCOS），并构建了一个包含11,483个精选图像和细粒度注释的大规模复杂场景数据集（OVCamo）。通过集成类别语义知识的指导和依赖边缘和深度信息的视觉结构线索的补充，所提出的方法可以有效地捕捉伪装对象。此外，这个有效的框架在我们的OVCamo数据集上也超过了先前状态-of-the-art的开放词汇语义图像分割方法。借助提出的数据集和基线，我们希望这个具有更多实际价值的新任务能进一步扩展开放词汇密集预测任务的研究。

    Nov, 2023

  • 开放词汇分割的可转移和原则性效率

    通过利用较小、训练成本更低的模型，本论文的核心策略旨在实现与基于大型视觉语言基础模型的先前开放词汇分割工作相媲美甚至更好的性能，以解决开放词汇分割（OVS）方法面临的高计算开销问题，并在各种 OVS 基准测试中展示了我们在分割准确性和计算成本之间卓越的平衡。

    Apr, 2024

  • 探索 CLIP 在无需培训的开放词汇语义分割中的潜力

    通过研究CLIP的[CLS]标记对补丁特征相关性的影响，我们提出了一种称为CLIPtrase的训练免费的语义分割策略，通过重新校准补丁之间的自相关性来提高局部特征的认知能力。该方法在分割准确性和对象间语义一致性的保持方面表现出显著的改进，超过了现有的最先进的无需训练的方法。

    Jul, 2024

  • 面向开放词汇分割的协作视觉-文本表征优化

    本研究主要解决了开放词汇分割任务中，视觉-文本模型在训练时存在的能力瓶颈，提出了一种基于内容依赖的迁移方法，通过与输入图像的互动自适应增强文本表征。此外，还引入了表征补偿策略，以保持CLIP的零-shot能力。实验结果表明，该方法在多个开放词汇分割基准上显著超越了现有最优方案。

    Aug, 2024

  • ProxyCLIP: 代理注意力提升CLIP在开放词汇分割中的表现

    本研究解决了开放词汇语义分割中模型在视觉表示与开放词汇语义标签整合的困难。提出的ProxyCLIP框架通过利用视觉基础模型的空间特征，将其作为代理注意力增强CLIP，从而实现空间精度与语义丰富性的有效结合。研究表明，ProxyCLIP显著提高了多项基准测试的平均均值交并比，从40.3提升至44.4，展现了其在开放词汇分割任务中的卓越效果。

    Aug, 2024