Jun, 2024

ProGEO：通过图像 - 文本对比学习生成提示，用于视觉地理定位

PDF
TL;DR使用 CLIP 和对比学习方法提高视觉地理定位中的视觉性能，并解决使用多模态模型处理地理图像时所面临的挑战。
visual geo-localizationclipcontrastive learningmulti-modal modelsvisual performance
发现论文，激发创造
  • VT-CLIP: 使用视觉引导文本增强视觉语言模型

    提出一种名为 VT-CLIP 的方法来增强 CLIP 模型，它通过可视化引导文本，使文本的特征更适应图片，在多分类任务中表现出很高的效果。

    Dec, 2021

  • 概念引导下的提示学习进行视觉 - 语言模型泛化

    通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。

    Jan, 2024

  • 用 GPT-4 增强 CLIP：利用视觉描述作为提示

    我们展示了如何使用 GPT-4 生成视觉描述性文本，并说明如何将其用于适应 CLIP 进行下游任务。与 CLIP 的默认提示相比，在专门的细粒度数据集上，我们在 0-shot 传输准确性方面取得了显著的改进。我们还设计了一个简单的 few-shot 适配器，学习选择最佳的句子来构建具有优越性能的可推广分类器。

    Jul, 2023

  • CurriculumLoc: 通过多阶段改进增强跨领域地理定位

    视觉地理定位方法的多阶段课程学习以及全局和局部特征的关键点检测、描述和位置调整使其成为一种实用的视觉地理定位解决方案，取得了高召回率的好成绩。

    Nov, 2023

  • 无需进一步训练即可将 CLIP 用于短语定位

    利用对比语言 - 视觉模型 CLIP，我们可以实现无需人工注释或额外训练的短语定位方法，其零样本短语定位性能优于现有无训练方法，并在某些情况下甚至超过了有监督的方法。

    Apr, 2022

  • 深入探讨多模式提示在细粒度视觉分类中的应用

    本文介绍了一种基于 CLIP 模型的多模态提示解决方案（MP-FGVC），通过跨模态描述充分利用 CLIP 模型在细粒度视觉分类（FGVC）任务中的能力，并且通过多模态的协同推理进一步提高 FGVC 的性能。

    Sep, 2023

  • GOPro：使用自监督学习在 CLIP 中生成和优化提示

    通过引入 GOPro 模型，结合 CLIP 和 SSL 的优势，在多任务框架中克服了损失加权和 CLIP 输出空间中不一致的挑战，通过一种统一的学习框架在图像和文本的共享嵌入空间中确保了输入图像的各种增强视图之间的相似性，从而提高了领域泛化任务的性能。

    Aug, 2023

  • GeoCLIP：基于 Clip 的位置和图像对齐，实现有效的全球地理定位

    GeoCLIP 是一种新颖的受 CLIP 启发的图像到 GPS 检索方法，通过对图像和其对应 GPS 位置之间的对齐实现了对全球范围内图像的精确定位。在基准数据集上的广泛实验和消融分析表明我们的方法取得了有竞争力的性能，并且在有限数据的情况下也具有有效性。此外，我们通过利用图像编码器的 CLIP 骨干来定性地演示了使用文本查询的地理定位。

    Sep, 2023

  • CLIM：用于区域表示的对比性语言 - 图像拼贴

    通过大规模的图像 - 文本对，借助 CLIM 方法实现区域与文本表示的对齐，改进开放词汇物体检测方法并加强视觉 - 语言模型的区域表示，提供更强实力的骨干，实验结果表明 CLIM 在 OV-COCO 和 OV-LVIS 基准上极大改进不同的基线系统。

    Dec, 2023

  • RegionCLIP: 基于区域的语言 - 图像预训练

    RegionCLIP 是一种新的方法，扩展了 CLIP 模型的范围，使其可以学习区域级别的视觉表征，从而实现图像区域和文本概念之间的细粒度对齐，进而在目标检测领域表现出良好的性能。

    Dec, 2021