Jun, 2024

PetalView：基于跨视图局部搜索的街景图像细粒度位置和方向提取

PDF
TL;DR卫星街景信息提取通过跨视图匹配来提取给定街景图像查询的位置和方向信息，近期的工作在一个使用一个基于 GPS 的以某个位置为中心的卫星图像覆盖的局部区域内找到准确的信息。我们提出了具有多尺度搜索的 PetalView 提取器，它在两个截然不同的视图中提供语义上有意义的特征，并且多尺度搜索策略有效地对卫星图像进行细粒度的检查，以提供亚米和亚度级别的精确提取。此外，当给出角度先验时，我们还提出了可学习的先验角度混合器来利用这些信息。我们的方法在 VIGOR 数据集上获得最佳性能，并在 KITTI 数据集测试 1 集中的位置估计上实现了回忆率在 1 米内达到 68.88％，1 度内达到 21.10％，当没有角度先验时，通过角度先验达到的回忆率与 1 米和 1 度以上的稳定估计值达到 70％和 21％，在 40 度噪声水平上。
satellite-based street-view information extractioncross-view matchinggeo-referenced satellite imagespetalview extractorslocation estimation
发现论文，激发创造
  • 超越地理定位：通过卫星图像与街景图像进行交叉视角匹配的细粒度街景图像定向

    使用街景图像进行定位时，精细定位角度的准确度对于提高街景图像的定位和地理定位任务的性能至关重要。本研究提出了两种方法，实现了对街景图像角度的细致估计，相较于以前的方法，准确度提高了 34.9% 至 28.2%。在训练中整合了精细定位角度估计，进一步提升了地理定位的性能。

    Jul, 2023

  • 通过跨视角匹配实现联合位置和方向估计

    本文提出了一种动态相似度匹配网络，通过使用极坐标变换来大致对齐空中图像，学习地面和变换后空中图像的深度特征，并通过计算跨视图特征之间的相关性来获得定位时的方向，从而提高了十字视图地理定位准确性。

    May, 2020

  • 跨视角图像检索之外：使用卫星图像实现高精度车辆定位

    本文提出了一种车载摄像机定位的解决方案，通过神经网络和几何投影模型实现从地面图像匹配到高空卫星地图上，并把匹配问题转化为姿态估计问题来提高定位精度。

    Apr, 2022

  • 基于几何引导的跨视角 Transformer 提高 3 自由度地对卫星相机定位精度

    本篇论文提出了一种增加地面摄像头位置和方向准确度的方法，通过估计地平线图像和卫星图像之间的相对旋转和平移，设计一种几何引导的交叉视图转换器，构建一个强大的神经姿态优化器来估计它们之间的相对旋转，通过空间相关性生成车辆位置的概率图，并明显优于现有技术。

    Jul, 2023

  • 街景到空中景象图像地理定位和方向估计的再探讨

    本文研究了将查询街景图像与参考集中带有 GPS 标记的航空图像进行匹配的问题，并指出了图像对齐信息的被忽视问题，研究表明，基于度量学习技术的改进可以显著提高性能而无需利用对齐信息，同时使用 Grad-CAM 进行可视化来理解模型以及对齐信息的效果，提出了一种新的方法来估计未知对齐信息下的交叉视图图像之间的方向 / 对齐，其在 CVUSA 数据集上取得了最新的结果。

    May, 2020

  • 使用稠密不确定度估计的视觉跨视图度量定位

    本文使用新型网络结构和更密集的卫星图像描述符进行多模式区域定位，可将度量定位误差中位数相对于同一区域、跨区域和跨时间的现有技术分别降低 51％、37％和 28％。

    Aug, 2022

  • 城市环境下的跨视角图像匹配用于地理定位

    本文基于深度卷积神经网络，提出了一个新的框架，用于跨视角图像地理定位，包括 Faster R-CNN 和 Siamese 网络，并将其在一个新的数据集上进行了评估，结果表明该方法比其他方法具有更好的定位精度，并能够推广到未见过的位置。

    Mar, 2017

  • VIGOR: 跨视图图像地理定位：超越一对一检索

    本研究定义了更加现实的问题假设，提出了一个新的大规模数据集 VIGOR 用于跨视角图像地理定位，并且评估了现有方法在该问题假设下的性能，同时提出了一种新方法用于粗 - 精定位，并使用原始 GPS 数据以实际距离（米）评估了本研究的性能。

    Nov, 2020

  • 视图一致净化：实现准确的跨视图定位

    本文提出了一种细粒度的室外机器人自定位方法，利用可调数量的机载摄像头和易获取的卫星图像；该方法解决了现有的跨视角定位方法因移动物体和季节变化等噪声源的问题；通过从地面和卫星视图中检测一致的关键点和它们对应的深度特征，去除离地物体，并在两个视图之间建立同伦变换，该方式是第一个仅利用视觉的稀疏方法，以提高动态环境下的感知能力；此外，该方法采用空间嵌入方法，利用相机内外参数信息降低纯视觉匹配的歧义性，从而提高特征匹配和姿态估计的准确性。通过在 KITTI 和 Ford Multi-AV Seasonal 数据集上进行大量实验，证明了该方法优于现有的最先进方法，能够实现横向和纵向方向上低于 0.5 米的中位空间准确性误差，以及小于 2 度的中位方向准确性误差。

    Aug, 2023

  • 卫星到街景合成用于地理定位

    该论文介绍了一种利用多任务架构，通过学习从卫星图像合成逼真街景的方法来解决街景图像地理定位的问题，并在 CVUSA 和 CVACT 基准测试中取得了最先进的表现。

    Mar, 2021