Mar, 2024

ModaLink: 图像到点云的高效场景识别

PDF
TL;DR通过引入快速轻量级的框架，将图像和点云转换成具有地点鉴别性的描述符。实验结果表明，所提出的方法在实时执行的同时达到了最先进的性能，具有实际的泛化能力。
place recognitioncross-modal methodsfield of view transformationnon-negative factorization-based encoderreal-time performance
发现论文，激发创造
  • 基于激光雷达和单目图像融合的地点识别算法 MinkLoc++

    本研究介绍了一种基于 LiDAR 和 RGB 相机图像的判别式多模态描述符 MinkLoc++，该描述符可用于机器人或自动驾驶应用的位置识别、重新定位和环路闭合，同时使用深度度量学习方法来减轻多模态描述符训练过程中可能存在的主导模态问题，该方法在标准的位置识别基准测试上实现了最先进的性能。

    Apr, 2021

  • 一种多模式用于单模式视觉地点分类的方法

    本文提出一种使用伪深度测量的多模态 RGB-D 分类方法，通过多传感器融合方法和最新的域不变单目深度估计技术，克服了单模态 RGB 图像分类易受空间外观变化以及季节、天气、照明等域变化干扰导致精度下降的问题，并通过公共 NCLT 数据集进行跨域场景实验，证明了所提出的分类框架的有效性。

    May, 2023

  • LCPR: 基于多尺度注意力的 LiDAR 相机融合网络用于地点识别

    提出了一种名为 LCPR 的新型神经网络，该网络融合 LiDAR 点云和多视角 RGB 图像，生成环境的具有区分性和偏航旋转不变性的表示，从而提高了地点识别性能并保持了对视角变化的强鲁棒性。

    Nov, 2023

  • 具有潜在接触的挑战交叉场景中的相机 - LiDAR 融合用于地点识别

    本文介绍了一种新颖的三通道场所描述符，由图像、点云和融合分支组成，利用相机与激光雷达之间的相关性进行信息交互和融合，从而实现在具有透视变化、季节变化和场景变换等挑战性环境中进行地点识别。在 KITTI、NCLT、USVInland 和校园数据集上的大量实验证明，所提出的场所描述符是当前最先进的方法，证实了它在复杂场景中的稳健性和普适性。

    Oct, 2023

  • 使用事件传感器进行图像数据库中的跨模态地点识别

    本文提出一种首个跨模态的视觉定位识别框架，结合事件相机和正常相机，通过检索数据库中的正常图像对事件查询进行匹配，验证在不同场景下该方法具有比当前的基于帧和事件的方法更好的效果。

    Jul, 2023

  • LC$^2$: 基于 LiDAR 和相机循环约束的跨模态地点识别

    本文提出一种名为 (LC)$^2$ 的新型交叉匹配方法，通过将 LiDAR 测量值表达为范围图像进行匹配，然后从视差和范围图像中提取本地化描述符来实现无先前点云地图的 LiDAR 本地化，并在姿势图中将最佳匹配作为循环因素，从而通过公共数据集证明了基于 LiDAR 的导航系统可以从图像数据库中优化，反之亦然。

    Apr, 2023

  • TransLoc3D : 基于点云的自适应感受野大规模地点识别

    TransLoc3D 是一种新的点云全局描述算法，使用自适应感受野进行特征提取，利用外部 Transformer 捕捉长程特征依赖关系，能够有效地处理不同大小的物体、抑制噪声，并取得了现有方法不可比拟的高性能结果。

    May, 2021

  • 基于语义图的三维点云地点识别

    本文提出了一种基于语义图的三维点云场景识别方法，该方法具有鲁棒性，能够应对遮挡和视角变化等环境变化，评估结果表明该方法优于现有技术。

    Aug, 2020

  • 利用结构线索增强视觉地点识别

    在这篇论文中，我们提出了使用结构线索来增强基于图像的位置识别，这是通过利用结构运动获得的，因此不需要为位置识别使用任何其他传感器，这是通过将基于图像的位置识别通常使用的 2D 卷积神经网络与从结构运动点云导出的体素网格作为输入的 3D CNN 相结合来完成的。我们评估了不同的方法来融合 2D 和 3D 特征，并通过全局平均汇集和简单的串联获得了最佳性能。在牛津机器人车数据集上，得到的描述符表现优于仅从一个输入模态性提取的描述符，包括最先进的基于图像的描述符。特别是在低描述符维度下，我们的表现超过最先进的描述符高达 90％。

    Feb, 2020

  • 利用图像获取更多信息：点云跨模态训练用于形状分析

    本文介绍了一种称为 PointCMT 的简单而有效的点云交叉模态训练策略，通过使用视图图像（即三维对象的渲染或投影的二维图像）来促进点云分析，进而更好地实现了三维点云表征。 实验证明，PointCMT 有效地改进了点云的表示方法，在不修改架构的情况下，基于 PointCMT 的模型在 ModelNet40 和 ScanObjectNN 等各种数据集上均实现了最先进的性能。

    Oct, 2022