ICMLJun, 2024

Cascade-CLIP: 零样本语义分割的级联视觉 - 语言嵌入对齐

PDF
TL;DR基于预训练视觉 - 语言模型的 Cascade-CLIP 方法，在零样本语义分割任务中通过引入一系列独立解码器，以级联方式将多层次的视觉特征与文本嵌入对齐，取得了优秀的性能。
pre-trained vision-language modelszero-shot semantic segmentationmulti-level visual featuresindependent decoderscascade-clip
发现论文，激发创造
  • ZegCLIP：面向零样本语义分割的 CLIP 自适应

    本文提出了一种基于 CLIP 的零样本语义分割方法 ZegCLIP，将其从图像级别扩展到像素级别，通过三种简单而有效的设计处理过拟合问题，具有更好的泛化能力和速度优势。

    Dec, 2022

  • CLIP 轻量级语义分割

    通过引入一个新的特征融合模块，本研究提出了一种解决使用轻量级网络的语言引导范式的方法，该模块能够在嵌入空间中促进视觉和文本特征的接近和对齐，并展示出优于之前的最佳方法的性能。

    Oct, 2023

  • 将 CLIP 的知识转化为零样本点云语义分割

    本文提出了一种简单而有效的基线方法，将 CLIP 中的视觉语言知识在特征和输出层面上转移到点云编码器，从而在零样本点云语义分割中取得了显著的性能提升，并在无标注点云语义分割设置中取得了有希望的结果，展示了其在标签效率学习方面的巨大潜力。

    Dec, 2023

  • LightCLIP：轻量级视觉语言模型的多层交互学习

    本文介绍了一种用于训练轻量级 CLIP 模型的多级交互范式，包括改进的全局实例级对齐目标、基于放松二分匹配的令牌级对齐目标以及使用遮蔽语言建模的额外目标。实验结果表明，该方法在多个下游任务中实现了更高的性能。

    Dec, 2023

  • 基于语言的视觉一致性用于零样本语义分割

    通过基于训练的视觉 - 语言模型，CLIP，使用变换器解码器将视觉特征与类别嵌入对齐，生成语义分割掩码，本研究提出一种语言驱动的视觉共识（LDVC）方法，通过利用类别嵌入作为锚点，引导视觉特征朝向类别嵌入，通过引入路由注意力来增强同一对象内的语义一致性，并配备视觉 - 语言提示策略，显著提升了未见类别的分割模型的泛化能力，实验结果在 PASCAL VOC 2012 和 COCO-Stuff 164k 上比现有方法在未见类别上获得了 4.5 和 3.6 的 mIoU 增益。

    Mar, 2024

  • Zoom-shot: 快速高效的无监督零样本迁移 CLIP 到视觉编码器的多模态损失

    通过 Zoom-shot 方法，利用多模态损失函数将 CLIP 潜空间与预训练视觉编码器的潜空间进行线性映射，从而在粗粒度和细粒度分类数据集上提升了现有的零样本能力，实现了下一代 VLMs 的开发。

    Jan, 2024

  • CLIP 也是一位优秀的讲师：归纳式零样本语义分割的新学习框架

    提出了一种名为 CLIPTeacher 的新学习框架，用于各种基于像素分类的分割模型，不引入任何显式的掩码建议者或更改 CLIP 的结构，并利用已知区域和忽略区域来取得较大的性能提升。

    Oct, 2023

  • CLIP-VIS：适应开放词汇视频实例分割

    本研究提出了一个名为 CLIP-VIS 的简单编码器 - 解码器网络，用于自适应开放词汇视频实例分割。CLIP-VIS 采用冻结的 CLIP 图像编码器，并引入了类不可知的掩码生成、时序 Top-K 增强匹配和加权开放词汇分类三个模块，实验结果表明该方法在各种视频实例分割数据集上表现出色。

    Mar, 2024

  • PyramidCLIP：视觉语言模型预训练的分层特征对齐

    PyramidCLIP 通过分层语义对齐和数据集扩充可以提高图像与文本匹配任务中的性能，并在不同的数据集上取得了极具竞争力的结果。

    Apr, 2022

  • CLIP 模型是少样本学习器：基于 VQA 和视觉蕴涵的实证研究

    本文实证表明，CLIP 通过利用语言的能力可以成为强大的视觉 - 语言少样本学习器。我们评估了 CLIP 在典型的视觉问答任务和视觉蕴含任务的零样本性能，并提出了一种参数有效的微调策略，以提高少样本性能，最终取得了有竞争力的零样本 /few-shot 结果。

    Mar, 2022