ICCVJul, 2023

基于几何引导的跨视角 Transformer 提高 3 自由度地对卫星相机定位精度

PDF
TL;DR本篇论文提出了一种增加地面摄像头位置和方向准确度的方法，通过估计地平线图像和卫星图像之间的相对旋转和平移，设计一种几何引导的交叉视图转换器，构建一个强大的神经姿态优化器来估计它们之间的相对旋转，通过空间相关性生成车辆位置的概率图，并明显优于现有技术。
image retrievalcross-view localizationcamera pose estimationground camera's location and orientationneural pose optimizer
发现论文，激发创造
  • 跨视角图像检索之外：使用卫星图像实现高精度车辆定位

    本文提出了一种车载摄像机定位的解决方案，通过神经网络和几何投影模型实现从地面图像匹配到高空卫星地图上，并把匹配问题转化为姿态估计问题来提高定位精度。

    Apr, 2022

  • 通过地对卫图像匹配实现准确的三自由度相机地理定位

    本文提出了一种基于几何感知的地球到卫星图像地理定位方法，该方法可以实现对查询图像的精准定位，其精度可达卫星图像的像素级，同时提出了一种新的基于几何感知的图像检索流程，以提高定位准确性。

    Mar, 2022

  • 通过跨视角匹配实现联合位置和方向估计

    本文提出了一种动态相似度匹配网络，通过使用极坐标变换来大致对齐空中图像，学习地面和变换后空中图像的深度特征，并通过计算跨视图特征之间的相关性来获得定位时的方向，从而提高了十字视图地理定位准确性。

    May, 2020

  • 使用稠密不确定度估计的视觉跨视图度量定位

    本文使用新型网络结构和更密集的卫星图像描述符进行多模式区域定位，可将度量定位误差中位数相对于同一区域、跨区域和跨时间的现有技术分别降低 51％、37％和 28％。

    Aug, 2022

  • 视图一致净化：实现准确的跨视图定位

    本文提出了一种细粒度的室外机器人自定位方法，利用可调数量的机载摄像头和易获取的卫星图像；该方法解决了现有的跨视角定位方法因移动物体和季节变化等噪声源的问题；通过从地面和卫星视图中检测一致的关键点和它们对应的深度特征，去除离地物体，并在两个视图之间建立同伦变换，该方式是第一个仅利用视觉的稀疏方法，以提高动态环境下的感知能力；此外，该方法采用空间嵌入方法，利用相机内外参数信息降低纯视觉匹配的歧义性，从而提高特征匹配和姿态估计的准确性。通过在 KITTI 和 Ford Multi-AV Seasonal 数据集上进行大量实验，证明了该方法优于现有的最先进方法，能够实现横向和纵向方向上低于 0.5 米的中位空间准确性误差，以及小于 2 度的中位方向准确性误差。

    Aug, 2023

  • 基于相关感知的细粒度跨视角地理定位的单应矩阵估计

    我们提出一种新颖的方法来实现细粒度的跨视图地理定位，通过使用单应性估计将畸变的地面图像与相同区域的带 GPS 标记的卫星图像对齐，将地面和航拍图像置于同一视图和同一平面上，减少了任务的复杂性，通过映射变换后地面图像的中心点到卫星图像并确定地面相机的方向来实现亚像素和米级的 GPS 精度定位。

    Aug, 2023

  • 超越地理定位：通过卫星图像与街景图像进行交叉视角匹配的细粒度街景图像定向

    使用街景图像进行定位时，精细定位角度的准确度对于提高街景图像的定位和地理定位任务的性能至关重要。本研究提出了两种方法，实现了对街景图像角度的细致估计，相较于以前的方法，准确度提高了 34.9% 至 28.2%。在训练中整合了精细定位角度估计，进一步提升了地理定位的性能。

    Jul, 2023

  • 学习密集流场进行高精度跨视角摄像机定位

    通过学习地面和卫星图像中稠密的像素级光流场来计算相机姿态，本文提出了一种新的端到端方法，该方法与现有方法不同之处在于通过在像素级构建特征度量，从而实现全图监督学习从而获取地面和卫星图像的独特的几何配置和视觉外貌。经过广泛的实验，证明了与最新的方法相比，在 KITTI、Ford multi-AV、VIGOR 和 Oxford RobotCar 数据集上，我们的方法将中位数定位误差分别降低了 89%、19%、80% 和 35%。

    Sep, 2023

  • PetalView：基于跨视图局部搜索的街景图像细粒度位置和方向提取

    卫星街景信息提取通过跨视图匹配来提取给定街景图像查询的位置和方向信息，近期的工作在一个使用一个基于 GPS 的以某个位置为中心的卫星图像覆盖的局部区域内找到准确的信息。我们提出了具有多尺度搜索的 PetalView 提取器，它在两个截然不同的视图中提供语义上有意义的特征，并且多尺度搜索策略有效地对卫星图像进行细粒度的检查，以提供亚米和亚度级别的精确提取。此外，当给出角度先验时，我们还提出了可学习的先验角度混合器来利用这些信息。我们的方法在 VIGOR 数据集上获得最佳性能，并在 KITTI 数据集测试 1 集中的位置估计上实现了回忆率在 1 米内达到 68.88％，1 度内达到 21.10％，当没有角度先验时，通过角度先验达到的回忆率与 1 米和 1 度以上的稳定估计值达到 70％和 21％，在 40 度噪声水平上。

    Jun, 2024

  • 街景到空中景象图像地理定位和方向估计的再探讨

    本文研究了将查询街景图像与参考集中带有 GPS 标记的航空图像进行匹配的问题，并指出了图像对齐信息的被忽视问题，研究表明，基于度量学习技术的改进可以显著提高性能而无需利用对齐信息，同时使用 Grad-CAM 进行可视化来理解模型以及对齐信息的效果，提出了一种新的方法来估计未知对齐信息下的交叉视图图像之间的方向 / 对齐，其在 CVUSA 数据集上取得了最新的结果。

    May, 2020