Jul, 2023

PIGEON: 预测图像地理位置

PDF
TL;DRPIGEON 是一个多任务一体化系统，通过基于语义地理单元的创建和分割算法、vision transformer 的预训练以及在候选地理单元集合上使用 ProtoNets 优化位置预测等方式实现行星级图像地理定位的最先进性能，并公开 StreetCLIP 模型以用于应对气候变化和城乡场景理解等临近领域应用。
pigeonimage geolocalizationsemantic geocellprotonetspre-training
发现论文，激发创造
  • 可解释的语义化照片地理定位

    介绍了使用语义分割和特征分析方法来提高星球级照片定位准确性和可解释性。

    Apr, 2021

  • GeoCLIP：基于 Clip 的位置和图像对齐，实现有效的全球地理定位

    GeoCLIP 是一种新颖的受 CLIP 启发的图像到 GPS 检索方法，通过对图像和其对应 GPS 位置之间的对齐实现了对全球范围内图像的精确定位。在基准数据集上的广泛实验和消融分析表明我们的方法取得了有竞争力的性能，并且在有限数据的情况下也具有有效性。此外，我们通过利用图像编码器的 CLIP 骨干来定性地演示了使用文本查询的地理定位。

    Sep, 2023

  • 一种面向空中场景解释和地理定位的多阶段多任务神经网络

    本文提出了一种新的多任务、多阶段神经网络，能够在单次前向传递中同时处理语义分割和基于视觉的航拍图像地理定位两个问题，并在卫星图像中实现商用 GPS 级别的本地化精度以及在 Inria Aerial Image Labeling 数据集和 Massachusetts Buildings 数据集上达到领先水平的分割效果。

    Apr, 2018

  • PlaNet - 基于卷积神经网络进行照片地理定位

    本文采用卷积神经网络以及深度学习方法，通过对地球表面进行多尺度地理单元的细分，结合图像中的地标、天气模式、植被、道路标记和建筑细节等线索，利用海量地理标记图像进行分类，建立了一个名为 PlaNet 的模型，旨在通过照片图像实现定位识别，并结合长短时记忆神经网络，提高模型识别不确定图片的地理定位准确率。

    Feb, 2016

  • 深度学习时代的 IM2GPS 重访

    本文提出了将深度图像分类方法与原始的 Im2GPS 方法相结合，同时应用核密度估计来估计查询图片的地理位置，结果表明使用分类损失的网络训练比其他典型用于检索应用的深度特征学习方法（如对比学习和三元组损失的同构网络）表现更好，提高了地理定位的准确性并且需要更少的训练数据。

    May, 2017

  • 世界上这张图片是在哪里？基于 Transformer 的野外地理定位

    本文提出了 TransLocator，这是一种基于双分支 Transformer 网络的方法，使用单一 RGB 图像和其语义分割图像进行地理定位和场景识别的多任务学习，其在四个基准数据集上均获得了比现有方法高的准确度。

    Apr, 2022

  • 利用 EfficientNet 和对比学习进行精准的全球位置估计

    本文提出了一种混合分类 - 检索方案，其中利用 EfficientNet 架构将图像分配到特定的地理单元，并使用训练有素的残差架构将输入图像映射到一个嵌入空间，以最小化相同位置图像的配对测地线距离，然后将两个模块与空间聚类方案相结合，通过搜索 - 单元内的聚合确定最终位置估计。结果表明，该方法的性能非常竞争，在 4 个公共数据集上均能取得新的最优表现。

    May, 2021

  • 利用航空参考图像进行广域图像地理定位

    本文旨在使用卷积神经网络来解决跨视角图像地理定位的问题，并介绍了用于地面图像和航拍图像的特征表示，并提出一种融合多个空间尺度提取的特征的网络架构，并通过实验表明其比现有方法更为优越。

    Oct, 2015

  • Img2Loc: 通过多模态基础模型和基于图像检索增强的生成，重新审视图像地理定位

    Img2Loc 是一个采用 GPT4V 或 LLaVA 等大型多模态模型进行检索增强生成的创新系统，通过重新定义图像地理定位作为文本生成任务，它不仅在 Im2GPS3k 和 YFCC4k 等基准数据集上超过了先前最先进的模型的性能，而且在没有任何模型训练的情况下做到了这一点。

    Mar, 2024

  • 利用选择性预测提高可靠的图像地理定位

    本文提出了一个选择性预测方法来解决图片适合地理定位问题，其中包括两个选型函数，能够将不可定位的图片排除预测，大大提高了城市规模的地理定位精度，使得现有的地理定位模型在实际应用中更加可靠。

    Nov, 2021