Sep, 2023

RaLF：基于流的全局和度量雷达定位在 LiDAR 地图中

PDF
TL;DR本文提出了一种名为 RaLF 的新型深度神经网络方法，用于通过同时学习处理位置识别和度量定位，将雷达扫描定位到环境中的 LiDAR 地图中。通过跨模态度量学习，在两种模态之间学习共享嵌入空间来解决位置识别任务，同时通过预测像素级流向量将查询雷达扫描与 LiDAR 地图对齐来执行度量定位任务。我们在多个真实世界的驾驶数据集上充分评估了我们的方法，并展示了 RaLF 在位置识别和度量定位方面的表现达到了最新水平。此外，我们证明了我们的方法可以有效地推广到与训练过程中使用的不同城市和传感器设置上。我们在此 http URL 上公开提供代码和训练模型。
发现论文，激发创造
  • RaLL: 使用可微分的测量模型在激光雷达地图上实现端到端的雷达定位

    本文提出一种基于深度学习的 RaLL 框架，将雷达和激光雷达嵌入到共同的神经网络特征空间中，利用激光雷达现成的映射技术来实现雷达在室外环境下的精准定位和低成本的雷达地图构建。实验结果表明，该系统在 90km 的驾车中具有优异的性能，甚至在 UK 训练，South Korea 测试的泛化场景中仍然表现出色。

    Sep, 2020

  • LiRaFusion：深度自适应激光雷达 - 雷达融合用于三维目标检测

    提出 LiRaFusion 以解决基于 LiDAR 和雷达的三维目标检测的问题，并通过早期融合模块和中期融合模块来改善特征提取能力，最终在 nuScenes 上取得了显著改进。

    Feb, 2024

  • Open-RadVLAD: 快速且稳健的雷达地点识别

    本研究提出了一种利用极坐标表示进行雷达位置识别的方法，通过建立局部聚合描述符的向量实现旋转不变性和高区分性描述空间，在 Oxford 雷达机器人车数据集上对方法进行了广泛测试，得到了较高的成功率和计算效率。

    Jan, 2024

  • 雷达下的关键点鲁棒性预测学习：在里程计估计和度量定位中的应用

    本文提出了一种用于雷达中自学习检测鲁棒关键点从而进行里程计估计和度量本地化的自监督框架。通过在我们的架构中嵌入可微分的基于点的运动估计器，我们仅通过本地化误差学习关键点的位置、分数和描述符，该方法避免了对什么是鲁棒关键点的任何假设，并且能够应用于大多数模态。在牛津雷达机器人车数据集的 280 公里真实驾驶实验中，我们改善了基于点的雷达里程表的最新研究成果，将误差降低了 45％，同时速度提高了一个数量级，并可同时解决度量环路闭合的问题。结合这些输出，我们提供了一个能够在城市环境下使用雷达进行完整地图绘制和本地化的框架。

    Jan, 2020

  • 通过共享 2D-3D 嵌入空间在 LiDAR 地图中进行全局视觉定位

    本研究使用深度神经网络方法来创造一个共享的嵌入空间，将图像和 LiDAR-Map 映射到同一空间中，通过大量实验评估发现，该方法适用于全球定位和场所识别。

    Oct, 2019

  • SiLVR: 大规模激光雷达视觉重建与神经辐射场用于机器人检测

    本研究提出了一种基于神经场的大规模重建系统，它利用激光雷达和视觉数据生成几何精确且具有照片级真实纹理的高质量重建，同时使用激光雷达 SLAM 系统提供深度和表面法线的强几何约束来改进传统的神经辐射场表示方法。

    Mar, 2024

  • LocoNeRF：一种基于 NeRF 的局部运动结构方法用于精确定位

    提出了一种利用运动感知结构（Structure from Motion，SfM）技术，通过利用神经辐射场（Neural Radiance Fields，NeRF）技术来提高视觉定位精度的新方法，并进行了与现有方法的存储和精度比较。

    Oct, 2023

  • RaLiBEV：雷达和激光雷达 BEV 融合学习的无锚框目标检测系统

    该论文提出一种基于鸟瞰视角融合学习的无锚定框物体检测系统，融合雷达和光学雷达的特征来估计可能的目标，并采用新颖交互式变形模块来进一步提高性能。在最近发布的牛津雷达机器人车数据集上进行测试，该系统在 0.8 IoU 下的性能显着优于最佳现有技术方法，可在清晰和雾天下分别提高 14.4％和 20.5％的平均精度。

    Nov, 2022

  • 使用有条件的神经辐射场进行视觉定位的 NeRF-Loc

    本文提出了一种新颖的基于 3D 场景描述符和转换器与 2D 图像进行直接匹配的视觉重新定位方法，NeRF 作为 3D 场景表示，在统一特征匹配和场景坐标回归的同时，本模型在两个训练阶段学习可推广的知识和场景先验知识。此外，为了提高本模型在训练和测试间的鲁棒性，本文提出了一个外观适应层来明确地对齐 3D 模型和查询图像。实验证明，本方法在多个基准测试上实现了比其他基于学习的方法更高的定位精度。

    Apr, 2023

  • LiDAR-NeRF: 基于神经辐射场的全息 LiDAR 视角综合

    本文提出了一种用于 LiDAR 传感器的新型视角合成任务，并介绍了一种可微分的 LiDAR 渲染器及其结合神经辐射场的端到端框架，证明了该方法在多种数据集上的优越性。

    Apr, 2023