Aug, 2023

GOPro：使用自监督学习在 CLIP 中生成和优化提示

PDF
TL;DR通过引入 GOPro 模型，结合 CLIP 和 SSL 的优势，在多任务框架中克服了损失加权和 CLIP 输出空间中不一致的挑战，通过一种统一的学习框架在图像和文本的共享嵌入空间中确保了输入图像的各种增强视图之间的相似性，从而提高了领域泛化任务的性能。
发现论文，激发创造
  • 概念引导下的提示学习进行视觉 - 语言模型泛化

    通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。

    Jan, 2024

  • 用 GPT-4 增强 CLIP：利用视觉描述作为提示

    我们展示了如何使用 GPT-4 生成视觉描述性文本，并说明如何将其用于适应 CLIP 进行下游任务。与 CLIP 的默认提示相比，在专门的细粒度数据集上，我们在 0-shot 传输准确性方面取得了显著的改进。我们还设计了一个简单的 few-shot 适配器，学习选择最佳的句子来构建具有优越性能的可推广分类器。

    Jul, 2023

  • ProGEO：通过图像 - 文本对比学习生成提示，用于视觉地理定位

    使用 CLIP 和对比学习方法提高视觉地理定位中的视觉性能，并解决使用多模态模型处理地理图像时所面临的挑战。

    Jun, 2024

  • Vita-CLIP: 基于多模态提示的视频和文本自适应 CLIP

    本文介绍了一种多模态提示学习方案，该方案在单一统一的训练下平衡了监督和零样本学习的表现，并提出了视觉和文本方面的提示方案，通过保持预训练的骨干网络冻结，在保留现有的通用表示的同时实现了最先进的零样本效果。

    Apr, 2023

  • MVP-SEG: 面向开放词库语义分割的多视图提示学习

    本文提出了 MVP-SEG 多视角提示学习作为一种有效的解决方案，以实现图像像素的适应性并解决开放式词汇的语义分割，通过 MVP-SEG 可以透过多个视角优化 CLIP 特征，并通过知识转移阶段使已知类别的多视角提示学习能够强大地推广到未知类别，它在几个基准测试上显著地优于以前的方法。

    Apr, 2023

  • C-SAW: 遥感中图像泛化的自监督提示学习

    我们提出了 C-SAW，这是一个在视觉空间中加入自监督损失和强调视觉领域和内容特定特征的新型提示学习技术，以确保领域不变的提示学习，并增强视觉特征的表达能力。C-SAW 在多个遥感基准测试和不同的泛化任务中展现了超越性能。

    Nov, 2023

  • 使用 CLIP 的可学习提示改进了视觉关系预测

    本文介绍了基于 CLIP 的模型在预测物体关系方面的潜力及对 UVTransE 框架进行了优化，提出了 CLIP Representation Enhanced Predicate Estimation (CREPE) 方法，通过对三个边界框的文本表示进行对比训练，取得了 state-of-the-art 的预测成果。

    Jul, 2023

  • 视觉语言模型的无监督提示学习

    本文提出了一种无监督提示学习（UPL）方法，以避免提示工程并同时提高类似 CLIP 的视觉语言模型的传递性能。该方法实验结果显示，在 ImageNet 以及其他 10 个数据集上，与原始 CLIP 相比，UPL 具有更优秀的传输表现，并且增强版的 UPL 在大多数数据集上甚至能够与 8-shot CoOp 和 8-shot TIP-Adapter 竞争。

    Apr, 2022

  • 视觉语言模型的提示学习

    本文介绍了如何使用 CoOp, 一种基于学习来应用 CLIP vision-language 模型用于下游图像识别任务的简单方法，以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题，并证明其比手工制作的提示更好。

    Sep, 2021

  • CLIP 模型暗中是一种图像到提示的转换器

    本文提出的方法，可以将图片转化为文本提示，从而解决了基于文本提示生成图片时难以整合隐含信息的问题。此方法可以简单灵活地处理各种任务，如图像变化和图像编辑。

    May, 2023