Sep, 2023

GeoCLIP：基于 Clip 的位置和图像对齐，实现有效的全球地理定位

PDF
TL;DRGeoCLIP 是一种新颖的受 CLIP 启发的图像到 GPS 检索方法，通过对图像和其对应 GPS 位置之间的对齐实现了对全球范围内图像的精确定位。在基准数据集上的广泛实验和消融分析表明我们的方法取得了有竞争力的性能，并且在有限数据的情况下也具有有效性。此外，我们通过利用图像编码器的 CLIP 骨干来定性地演示了使用文本查询的地理定位。
geo-localizationimage-to-gps retrievalgeoclippositional encodingbenchmark datasets
发现论文，激发创造
  • SatCLIP：卫星图像中的全球通用位置嵌入

    Satellite Contrastive Location-Image Pretraining (SatCLIP) is a global geographic location encoder that provides vector embeddings summarizing location characteristics, outperforming existing pretrained encoders in various predictive tasks, and enabling meaningful representations of our planet from geospatial data.

    Nov, 2023

  • ProGEO：通过图像 - 文本对比学习生成提示，用于视觉地理定位

    使用 CLIP 和对比学习方法提高视觉地理定位中的视觉性能，并解决使用多模态模型处理地理图像时所面临的挑战。

    Jun, 2024

  • Img2Loc: 通过多模态基础模型和基于图像检索增强的生成，重新审视图像地理定位

    Img2Loc 是一个采用 GPT4V 或 LLaVA 等大型多模态模型进行检索增强生成的创新系统，通过重新定义图像地理定位作为文本生成任务，它不仅在 Im2GPS3k 和 YFCC4k 等基准数据集上超过了先前最先进的模型的性能，而且在没有任何模型训练的情况下做到了这一点。

    Mar, 2024

  • 深度学习时代的 IM2GPS 重访

    本文提出了将深度图像分类方法与原始的 Im2GPS 方法相结合，同时应用核密度估计来估计查询图片的地理位置，结果表明使用分类损失的网络训练比其他典型用于检索应用的深度特征学习方法（如对比学习和三元组损失的同构网络）表现更好，提高了地理定位的准确性并且需要更少的训练数据。

    May, 2017

  • 无需进一步训练即可将 CLIP 用于短语定位

    利用对比语言 - 视觉模型 CLIP，我们可以实现无需人工注释或额外训练的短语定位方法，其零样本短语定位性能优于现有无训练方法，并在某些情况下甚至超过了有监督的方法。

    Apr, 2022

  • 利用位置上下文提高图像分类

    本研究通过利用 GPS 坐标，探索了将位置信息与卷积神经网络相结合进行图像分类的方法，并在 Yahoo Flickr Creative Commons 100M 数据集的子集上进行了评估，证明了这种方法可以使平均精度提高近 7%。

    May, 2015

  • CPlaNet: 通过组合式地图划分增强图像地理定位

    提出了一种称为组合划分的简单但有效的算法，该算法通过相交多个粗粒度分割地球的分割方式，生成大量细粒度的输出类，使我们能够在细粒度上预测位置，同时为每个类别保持足够的训练示例。该算法在多个基准数据集上实现了最先进的位置识别性能。

    Aug, 2018

  • PIGEON: 预测图像地理位置

    PIGEON 是一个多任务一体化系统，通过基于语义地理单元的创建和分割算法、vision transformer 的预训练以及在候选地理单元集合上使用 ProtoNets 优化位置预测等方式实现行星级图像地理定位的最先进性能，并公开 StreetCLIP 模型以用于应对气候变化和城乡场景理解等临近领域应用。

    Jul, 2023

  • 世界上这张图片是在哪里？基于 Transformer 的野外地理定位

    本文提出了 TransLocator，这是一种基于双分支 Transformer 网络的方法，使用单一 RGB 图像和其语义分割图像进行地理定位和场景识别的多任务学习，其在四个基准数据集上均获得了比现有方法高的准确度。

    Apr, 2022

  • 通过地对卫图像匹配实现准确的三自由度相机地理定位

    本文提出了一种基于几何感知的地球到卫星图像地理定位方法，该方法可以实现对查询图像的精准定位，其精度可达卫星图像的像素级，同时提出了一种新的基于几何感知的图像检索流程，以提高定位准确性。

    Mar, 2022