CVPRFeb, 2023

面向开放词汇语义分割的旁路适配器网络

PDF
TL;DR本文介绍了一种利用预训练的视觉 - 语言模型（名为 Side Adapter Network）实现开放词汇语义分割的新框架，其中包括对固定 CLIP 模型附加侧网络以识别类别和预测掩模建议等过程，最终实现快速而精确的语义分割，并在多个基准测试集上超越了其他竞争者，还拥有较少的可训练参数和较快的推断速度。
open-vocabularysemantic segmentationside adapter networkclipmask proposals
发现论文，激发创造
  • 使用适应掩码的 CLIP 进行开放词汇语义分割

    该论文提出了一种针对开放词汇的语义分割方法，即通过预训练模型再特定训练样本上的微调和修正，来解决预训练模型在遮蔽图像上的效果问题，从而提高模型的泛化能力，并通过遮蔽抽取方法有效地提高了语义分割的效果。

    Oct, 2022

  • 注重邻居：无需训练的开放词汇语义分割

    借鉴了 CLIP 模型，并通过自适应 CLIP 的可视化 transformer 来强化感知，提出了一种新的方法 NACLIP 用于训练自由的 open-vocabulary semantic segmentation (OVSS)，在 8 个流行的语义分割评估中获得了最先进的性能。

    Apr, 2024

  • Open-Vocabulary Panoptic Segmentation with MaskCLIP

    本文提出了用于任意描述的显式开放分类的 Panoptic 分割，建立了一个没有调优或蒸馏的基线方法，然后开发了一个新的基于 Transformer 的方法 MaskCLIP，使用 ViT-CLIP 骨架和掩模查询来执行语义和物体实例分割。最后，在 ADE20K 和 PASCAL 数据集上获得了令人鼓舞的结果，并展示了 MaskCLIP 的定制类别的定性说明。

    Aug, 2022

  • CLIP-VIS：适应开放词汇视频实例分割

    本研究提出了一个名为 CLIP-VIS 的简单编码器 - 解码器网络，用于自适应开放词汇视频实例分割。CLIP-VIS 采用冻结的 CLIP 图像编码器，并引入了类不可知的掩码生成、时序 Top-K 增强匹配和加权开放词汇分类三个模块，实验结果表明该方法在各种视频实例分割数据集上表现出色。

    Mar, 2024

  • SideInfNet：半自动语义分割的深度神经网络与辅助信息

    该论文提出了一种新的深度神经网络架构 ——SideInfNet，该网络能够有效地将从图像中学习到的特征与从用户注释中提取的结构信息相结合，从而实现半自动语义分割。实验证明，该方法在多个基准数据集上均取得了较好的效果，表明该模型具有广泛适用性和有效性。

    Feb, 2020

  • OpenSD: 统一的开放词汇分割和检测

    我们提出了一个名为 OpenSD 的通用 Transformer 基础框架，利用相同的架构和网络参数来处理开放词汇分割和检测任务。OpenSD 在封闭和开放词汇设置下，优于最先进的开放词汇分割和检测方法。

    Dec, 2023

  • SegCLIP: 可学习中心的补丁聚合方法用于开放式语义分割

    本文提出了一个 CLIP-based 的模型，名为 SegCLIP，以无注释的方式实现了开放式词汇语义分割，其主要思想是通过训练文本 - 图像对来聚集有可学习中心的补丁形成语义区域。文中还在被屏蔽掉的补丁上提出了一种重构损失和基于超像素的 KL 损失与伪标签相结合来增强视觉表征，实验结果表明，该模型在与基线的比较中，在 PASCAL VOC 2012（+1.4% mIoU）、PASCAL Context（+2.4% mIoU）和 COCO（+5.6% mIoU）上实现了相当或更高的分割精度。

    Nov, 2022

  • 无需调整的普遍监督语义分割

    本研究提出了一种无需调参的基于 CLIP 的语义分割框架，可以普遍适用于各种类型的监督。通过利用 CLIP 的零样本分类能力生成伪标签或进行开放词汇量的分割，我们解决了蒙版与 CLIP 文本嵌入之间的偏差问题，提出了一种判别偏差对齐的 CLIP 方法以获得更好的性能。我们构建了一个全局 - 局部一致性的分类器来对 SAM 蒙版进行分类，揭示了 DBA-CLIP 产生的高质量嵌入的内在结构，并展示了对噪声伪标签的鲁棒性。大量实验证实了我们方法的效率和有效性，并在各种数据集和监督类型上取得了最先进或具有竞争力的性能。

    May, 2024

  • Side4Video：用于内存高效的图像到视频迁移学习的时空边缘网络

    提出了一种名为 Side4Video 的轻量级空时支路网络，用于在视频理解中对大型图像模型进行内存高效微调，具有比之前的适配器方法减少 75% 内存使用的能力，并且在各种视频数据集上实现了卓越的性能。

    Nov, 2023

  • PosSAM: 全景开放词汇片段检测

    提出了一种开放词汇的全景分割模型，通过端到端框架有机地结合了 Segment Anything Model (SAM) 和视觉 - 语言 CLIP 模型的优势。通过使用局部判别汇聚模块（LDP），克服了 SAM 的局限性，并引入了面向掩膜的选择集成算法（MASE）来自适应地提高生成掩膜的质量，从而在多个数据集上展示了很强的泛化性能，并且在开放词汇全景分割方法方面取得了显著的改进。

    Mar, 2024