具有潜在接触的挑战交叉场景中的相机 - LiDAR 融合用于地点识别

Oct, 2023

具有潜在接触的挑战交叉场景中的相机 - LiDAR 融合用于地点识别

Camera-LiDAR Fusion with Latent Contact for Place Recognition in Challenging Cross-Scenes

Yan Pan, Jiapeng Xie, Jiajie Wu, Bo Zhou

TL;DR本文介绍了一种新颖的三通道场所描述符，由图像、点云和融合分支组成，利用相机与激光雷达之间的相关性进行信息交互和融合，从而实现在具有透视变化、季节变化和场景变换等挑战性环境中进行地点识别。在 KITTI、NCLT、USVInland 和校园数据集上的大量实验证明，所提出的场所描述符是当前最先进的方法，证实了它在复杂场景中的稳健性和普适性。

Abstract

Although significant progress has been made, achieving place recognition in environments with perspective changes, seasonal variations, and scene transformations remains challenging. Relying solely on perception information from a single sensor is insufficient to address these issues.

place recognition multi-modal fusion camera lidar place descriptor

发现论文，激发创造

LCPR: 基于多尺度注意力的 LiDAR 相机融合网络用于地点识别

提出了一种名为 LCPR 的新型神经网络，该网络融合 LiDAR 点云和多视角 RGB 图像，生成环境的具有区分性和偏航旋转不变性的表示，从而提高了地点识别性能并保持了对视角变化的强鲁棒性。

Nov, 2023

基于激光雷达和单目图像融合的地点识别算法 MinkLoc++

本研究介绍了一种基于 LiDAR 和 RGB 相机图像的判别式多模态描述符 MinkLoc++，该描述符可用于机器人或自动驾驶应用的位置识别、重新定位和环路闭合，同时使用深度度量学习方法来减轻多模态描述符训练过程中可能存在的主导模态问题，该方法在标准的位置识别基准测试上实现了最先进的性能。

Apr, 2021

融合式地点识别中的明确交互

提出了一种新的融合网络 EINet，利用 LiDAR 和摄像头数据实现了多模态特征的显式交互，并在 nuScenes 数据集上建立了一个新的基准，实验结果表明，相比现有的融合式地点识别方法，EINet 具有更好的识别性能和稳健的泛化能力。

Feb, 2024

LC$^2$: 基于 LiDAR 和相机循环约束的跨模态地点识别

本文提出一种名为 (LC)$^2$ 的新型交叉匹配方法，通过将 LiDAR 测量值表达为范围图像进行匹配，然后从视差和范围图像中提取本地化描述符来实现无先前点云地图的 LiDAR 本地化，并在姿势图中将最佳匹配作为循环因素，从而通过公共数据集证明了基于 LiDAR 的导航系统可以从图像数据库中优化，反之亦然。

Apr, 2023

多进程融合：使用多种图像处理方法进行视觉地点识别

该论文提出了一种多传感器融合、动态匹配序列长度技术和自动处理方法权重方案相结合的新颖的图像处理方法，在识别质量度量分析的基础上，提高了定位的性能要求，实现了优于两种最先进的视觉地点识别系统的结果。

Mar, 2019

基于 LiDAR 强度的鲁棒地点识别的本地描述符

该论文提出了一种将 LiDAR 的几何信息与强有力的外观信息相结合的方法，通过建立新的描述符来在地点识别中优于现有办法，并且利用概率性关键点投票算法，在大规模的建筑和非结构化环境中实现有效的全局定位实验。

Nov, 2018

ModaLink: 图像到点云的高效场景识别

通过引入快速轻量级的框架，将图像和点云转换成具有地点鉴别性的描述符。实验结果表明，所提出的方法在实时执行的同时达到了最先进的性能，具有实际的泛化能力。

Mar, 2024

CrossFusion: 交错跨模态补充用于抵抗噪音的三维物体检测

本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion，充分利用设计的跨模式补充策略的相机和 LiDAR 特征，实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法，还证明我们的模型具有噪声抗性和不需要重新训练，能够应用于特定故障场景，增加了 5.2％的平均精度（mAP）和 2.4％的归一化检测得分（NDS）

Apr, 2023

感知感知多传感器融合用于 3D LiDAR 语义分割

本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

Jun, 2021

Locus: 使用 LiDAR 基于时空高阶池化的地点识别

本文提出 Locus，一种使用 3D LiDAR 点云的新型地点识别方法，在大规模环境中提取和编码场景中与组件相关的拓扑和时间信息，并使用二阶池化和非线性变换聚合这些多层特征以生成不变于输入特征排列的固定长度全局描述符。该方法在 KITTI 数据集上优于最先进的方法，并证明对 3D LiDAR 点云中的多种挑战性情境具有鲁棒性。

Nov, 2020