Jan, 2023

ZegOT: 通过文本提示的最优输运实现零样本分割

PDF
TL;DR本研究提出一种基于 CLIP 和 text-prompt learning 的零样本分割方法，通过最优传输匹配多个文本提示和冻结的图像嵌入来提高分割性能，并且通过深度局部特征对齐进一步优化。经过大量实验证明，该方法在所选数据集上取得了与之前最先进方法相媲美的表现。
clipsemantic segmentationtext-prompt learningoptimal transportdeep local feature alignment
发现论文，激发创造
  • OTSeg: 多提示 Sinkhorn 注意力用于零样本语义分割

    OTSeg 是一种新颖的多模态注意力机制，旨在通过增强多个文本提示与像素嵌入的匹配能力来解决将预训练的 CLIP 知识与像素嵌入紧密对齐的限制问题，通过大量实验证明 OTSeg 在三个基准数据集上实现了最先进的零样本语义分割性能提升。

    Mar, 2024

  • 最优传输蒸馏与数据高效的语言监督零样本识别

    本篇研究提出了一种在线熵最优传输方法 OTTER，使用其进行对比学习，使来自预先训练的图像和文本编码器的模型仅需要使用 3M 图像 - 文本对进行训练，就可以在 Google Open Images 和 Tencent ML-Images 上获得在零样本评估方面的强大性能。

    Dec, 2021

  • 基于最优输运的 PLOT 方法用于视觉语言模型的提示学习

    这篇文章提出了一种利用 optimal transport 算法将视觉与文本模态进行匹配的方法，在此基础上学习出多种全面的 prompt，优化输入图像的分类效果，两阶段优化策略取得了很好的效果。

    Oct, 2022

  • ZegCLIP：面向零样本语义分割的 CLIP 自适应

    本文提出了一种基于 CLIP 的零样本语义分割方法 ZegCLIP，将其从图像级别扩展到像素级别，通过三种简单而有效的设计处理过拟合问题，具有更好的泛化能力和速度优势。

    Dec, 2022

  • Vita-CLIP: 基于多模态提示的视频和文本自适应 CLIP

    本文介绍了一种多模态提示学习方案，该方案在单一统一的训练下平衡了监督和零样本学习的表现，并提出了视觉和文本方面的提示方案，通过保持预训练的骨干网络冻结，在保留现有的通用表示的同时实现了最先进的零样本效果。

    Apr, 2023

  • AnoVL：面向统一零样本异常定位的视觉语言模型适应

    使用 Contrastive Language-Image Pre-training (CLIP) 模型进行零样本异常检测，通过学习自然语言监督下的视觉表示，构建文本提示与全局图像级别表示之间的对应关系，采用训练自由的价值关注机制提取 CLIP 的内在局部标记以进行精确定位，设计一个统一的领域感知对比状态提示模板，通过测试时的自适应机制进一步优化异常定位结果。

    Aug, 2023

  • 无 Token 留存：可解释性辅助的图像分类与生成

    本研究提出了一种基于解释性的方法来解决在零样本学习和图像生成中使用 CLIP 时输入文本的稳定性问题，此方法通过增加一项损失项来确保 CLIP 关注所有相关的语义部分，并且可以提高图像识别率和生成图像的质量。同时，研究还展示了 CLIP 在一次性分类、对生成模型进行指导和有空间条件的基于文本的图像生成方面的新型应用。

    Apr, 2022

  • MVP-SEG: 面向开放词库语义分割的多视图提示学习

    本文提出了 MVP-SEG 多视角提示学习作为一种有效的解决方案，以实现图像像素的适应性并解决开放式词汇的语义分割，通过 MVP-SEG 可以透过多个视角优化 CLIP 特征，并通过知识转移阶段使已知类别的多视角提示学习能够强大地推广到未知类别，它在几个基准测试上显著地优于以前的方法。

    Apr, 2023

  • 使用文本和图像提示进行图像分割

    本文提出了一种基于文本或图像提示产生图像分割结果的模型，使用 CLIP 模型并引入 Transformer-based decoder 实现了对于任意提示的图像分割。经过对短语切割数据集进行扩展训练，该模型可以生成二进制的分割结果。我们发现该模型不仅可适应于三种标准的分割任务，而且可以适应于任何文本或图像提示的二进制分割任务。

    Dec, 2021

  • Cascade-CLIP: 零样本语义分割的级联视觉 - 语言嵌入对齐

    基于预训练视觉 - 语言模型的 Cascade-CLIP 方法，在零样本语义分割任务中通过引入一系列独立解码器，以级联方式将多层次的视觉特征与文本嵌入对齐，取得了优秀的性能。

    Jun, 2024