Apr, 2021

基于激光雷达和单目图像融合的地点识别算法 MinkLoc++

PDF
TL;DR本研究介绍了一种基于 LiDAR 和 RGB 相机图像的判别式多模态描述符 MinkLoc++，该描述符可用于机器人或自动驾驶应用的位置识别、重新定位和环路闭合，同时使用深度度量学习方法来减轻多模态描述符训练过程中可能存在的主导模态问题，该方法在标准的位置识别基准测试上实现了最先进的性能。
multimodal descriptorlidarrgb cameraplace recognitiondeep metric learning
发现论文，激发创造
  • MinkLoc3D：基于点云的大规模场所识别

    提出了一种名为 MinkLoc3D 的基于学习的方法，用于计算具有区分性的三维点云描述符，该方法使用稀疏体素化的点云表示和稀疏三维卷积，相比目前最先进的方法具有更好的性能。

    Nov, 2020

  • 具有潜在接触的挑战交叉场景中的相机 - LiDAR 融合用于地点识别

    本文介绍了一种新颖的三通道场所描述符，由图像、点云和融合分支组成，利用相机与激光雷达之间的相关性进行信息交互和融合，从而实现在具有透视变化、季节变化和场景变换等挑战性环境中进行地点识别。在 KITTI、NCLT、USVInland 和校园数据集上的大量实验证明，所提出的场所描述符是当前最先进的方法，证实了它在复杂场景中的稳健性和普适性。

    Oct, 2023

  • LCPR: 基于多尺度注意力的 LiDAR 相机融合网络用于地点识别

    提出了一种名为 LCPR 的新型神经网络，该网络融合 LiDAR 点云和多视角 RGB 图像，生成环境的具有区分性和偏航旋转不变性的表示，从而提高了地点识别性能并保持了对视角变化的强鲁棒性。

    Nov, 2023

  • ModaLink: 图像到点云的高效场景识别

    通过引入快速轻量级的框架，将图像和点云转换成具有地点鉴别性的描述符。实验结果表明，所提出的方法在实时执行的同时达到了最先进的性能，具有实际的泛化能力。

    Mar, 2024

  • 融合式地点识别中的明确交互

    提出了一种新的融合网络 EINet，利用 LiDAR 和摄像头数据实现了多模态特征的显式交互，并在 nuScenes 数据集上建立了一个新的基准，实验结果表明，相比现有的融合式地点识别方法，EINet 具有更好的识别性能和稳健的泛化能力。

    Feb, 2024

  • LC$^2$: 基于 LiDAR 和相机循环约束的跨模态地点识别

    本文提出一种名为 (LC)$^2$ 的新型交叉匹配方法，通过将 LiDAR 测量值表达为范围图像进行匹配，然后从视差和范围图像中提取本地化描述符来实现无先前点云地图的 LiDAR 本地化，并在姿势图中将最佳匹配作为循环因素，从而通过公共数据集证明了基于 LiDAR 的导航系统可以从图像数据库中优化，反之亦然。

    Apr, 2023

  • DeepFusion: 基于 Lidar 和相机的深度融合技术用于多模态 3D 物体检测

    本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

    Mar, 2022

  • 一种多模式用于单模式视觉地点分类的方法

    本文提出一种使用伪深度测量的多模态 RGB-D 分类方法，通过多传感器融合方法和最新的域不变单目深度估计技术，克服了单模态 RGB 图像分类易受空间外观变化以及季节、天气、照明等域变化干扰导致精度下降的问题，并通过公共 NCLT 数据集进行跨域场景实验，证明了所提出的分类框架的有效性。

    May, 2023

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • 感知感知多传感器融合用于 3D LiDAR 语义分割

    本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

    Jun, 2021