Sep, 2023

学习密集流场进行高精度跨视角摄像机定位

PDF
TL;DR通过学习地面和卫星图像中稠密的像素级光流场来计算相机姿态，本文提出了一种新的端到端方法，该方法与现有方法不同之处在于通过在像素级构建特征度量，从而实现全图监督学习从而获取地面和卫星图像的独特的几何配置和视觉外貌。经过广泛的实验，证明了与最新的方法相比，在 KITTI、Ford multi-AV、VIGOR 和 Oxford RobotCar 数据集上，我们的方法将中位数定位误差分别降低了 89%、19%、80% 和 35%。
发现论文，激发创造
  • 跨视角图像检索之外：使用卫星图像实现高精度车辆定位

    本文提出了一种车载摄像机定位的解决方案，通过神经网络和几何投影模型实现从地面图像匹配到高空卫星地图上，并把匹配问题转化为姿态估计问题来提高定位精度。

    Apr, 2022

  • 使用稠密不确定度估计的视觉跨视图度量定位

    本文使用新型网络结构和更密集的卫星图像描述符进行多模式区域定位，可将度量定位误差中位数相对于同一区域、跨区域和跨时间的现有技术分别降低 51％、37％和 28％。

    Aug, 2022

  • FlowCam：通过像素对齐场景流训练通用的无相机位姿 3D 辐射场

    提出了一种联合重构相机位姿和三维神经场表示的在线方法，通过可微分渲染将帧间光流提升到三维场流，通过加权最小二乘拟合场流场估计 SE（3) 相机姿态，同时可以通过重新渲染输入视频对相机姿态估计和通用神经场表示进行监督，从而在真实世界视频数据集上进行端对端和完全自我监督的训练。

    May, 2023

  • 基于几何引导的跨视角 Transformer 提高 3 自由度地对卫星相机定位精度

    本篇论文提出了一种增加地面摄像头位置和方向准确度的方法，通过估计地平线图像和卫星图像之间的相对旋转和平移，设计一种几何引导的交叉视图转换器，构建一个强大的神经姿态优化器来估计它们之间的相对旋转，通过空间相关性生成车辆位置的概率图，并明显优于现有技术。

    Jul, 2023

  • 通过地对卫图像匹配实现准确的三自由度相机地理定位

    本文提出了一种基于几何感知的地球到卫星图像地理定位方法，该方法可以实现对查询图像的精准定位，其精度可达卫星图像的像素级，同时提出了一种新的基于几何感知的图像检索流程，以提高定位准确性。

    Mar, 2022

  • 视图一致净化：实现准确的跨视图定位

    本文提出了一种细粒度的室外机器人自定位方法，利用可调数量的机载摄像头和易获取的卫星图像；该方法解决了现有的跨视角定位方法因移动物体和季节变化等噪声源的问题；通过从地面和卫星视图中检测一致的关键点和它们对应的深度特征，去除离地物体，并在两个视图之间建立同伦变换，该方式是第一个仅利用视觉的稀疏方法，以提高动态环境下的感知能力；此外，该方法采用空间嵌入方法，利用相机内外参数信息降低纯视觉匹配的歧义性，从而提高特征匹配和姿态估计的准确性。通过在 KITTI 和 Ford Multi-AV Seasonal 数据集上进行大量实验，证明了该方法优于现有的最先进方法，能够实现横向和纵向方向上低于 0.5 米的中位空间准确性误差，以及小于 2 度的中位方向准确性误差。

    Aug, 2023

  • 基于稀疏雷达的自动驾驶车辆密集光流幻像

    本文提出了一种新的方法，从自动驾驶车辆的稀疏激光雷达数据中估计密集的光流，用作图像不可靠的情况下，如恶劣天气或夜间，替代任何基于图像的光流系统的替代方案。该方法使用多尺度滤波器的三级结构来推断离散范围数据的高分辨率 2D 流，并在 lidar 和图像域中结合多个中间目标。通过使用 FlowNet2 计算的假伪基于图像的光流，我们介绍了一个包含约 20K lidar 样本的 Kitti 数据集，并使用该数据集训练网络。我们在 Kitti 数据集上演示了我们方法的有效性，并表明尽管使用低分辨率和稀疏的 lidar 测量，我们可以回归与基于图像的方法相当的密集光流图。

    Aug, 2018

  • 基于稠密三维流的单目视觉里程计与稠密三维建图学习

    本文介绍了一个全新的深度学习方法来进行单目 SLAM，通过使用学习视觉里程计（L-VO）和稠密 3D 映射的神经网络，该方法能够实现同时定位与建图。

    Mar, 2018

  • C-BEV：用于跨视角图像检索和 3DoF 姿态估计的对比鸟瞰视角训练

    使用鸟瞰图作为嵌入表示的新型可训练的检索体系结构，在交叉视图地理定位任务中表现出色，特别在挑战性的多对一情景中有效，并且能够推断匹配航空图像上的 3 自由度摄像机姿态，甚至比明确通过度量真值进行培训的最新方法具有更低的平均姿态误差。

    Dec, 2023

  • 基于光流的动态稠密 RGB-D SLAM 系统 FlowFusion

    研究使用光流残差技术实现动态语义感知的 RGB-D 环境下的 SLAM，同时实现动静分割、相机运动估计和静态背景重建。实验证明该方法在动态和静态环境中都比现有的方法具有更高的精度和效率。

    Mar, 2020