解决图像 - LiDAR 融合中的数据错位问题对点云分割
本研究提出了一种新的融合步骤来解决数据损坏问题,从而使得 3D 物体检测的多模态传感器融合更加稳健。经过大量实验证明,我们的方法在正常数据上与最先进的方法相当,并在不对齐数据上表现出更好的效果。
Jun, 2023
本论文提出了 2DPASS 方法,该方法利用 2D 图像重要的视觉外观,通过辅助 modal 融合和 multi-scale 融合,丰富了多模态数据的语义和结构信息,并将这些信息在纯 3D 网络上进行在线蒸馏。实验结果表明,2DPASS 可在仅由点云输入的情况下显著提高基线模型的性能,同时在大规模基准测试 SemanticKITTI 和 NuScenes 中均取得了最优结果。
Jul, 2022
本文旨在研究基于传感器融合技术的三维语义分割,将 RGB 图像转化为 LiDAR 所使用的极坐标网格映射表示,并设计了早期和中期融合架构,同时提出了融合两种算法的混合融合结构。在 KITTI 数据集中评估了所提出算法的效果,并相对于仅使用 LiDAR 的基线模型,在两种最先进的算法 SqueezeSeg 和 PointSeg 上分别提高了 10% 的分割精度。
Jun, 2019
该论文着眼于深度学习在相机 - LiDAR 融合数据处理中的应用,对深度补全、物体检测、语义分割、跟踪和在线跨传感器校准等方面的方法进行了深入评估和比较。该研究提出了当前学术研究与实际应用之间存在的差距和未被重视的挑战,并提出了有前途的研究方向。
Apr, 2020
本文章提出了一种基于感知信息的多传感器融合策略(PMF),用于自动驾驶等应用中的 3D LiDAR 语义分割,通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性,实验结果证明了该方法的优越性。
Jun, 2021
我们提出了第一个激光雷达 - 相机全景分割网络(LCPS),通过三阶段的激光雷达 - 相机融合策略,在 NuScenes 数据集上改进了约 6.9% 的 PQ 性能,进一步的实验证明了我们的新框架的有效性。
Aug, 2023
本文介绍了一种名为 GraphAlign 的更准确的 3D 物体检测特征对齐策略,采用图匹配的方式融合来自图像分割编码器的图像特征和来自 LiDAR 的点云特征,通过投影校准和自我注意机制实现异构模态间的特征对齐。我们在 nuScenes 基准上进行广泛实验,证明了 GraphAlign 的有效性和效率。
Oct, 2023
本文提出一种简单而有效的 LiDAR 和 RGB 数据融合方法,该方法可以对 LiDAR 点云进行分割和特征提取,从而极大地提高了分割精度和实时性能。研究结果在 KITTI 基准测试中获得了最高 18%的 IoU 提升。
Dec, 2019
该论文介绍了使用 LiDAR 和摄像头进行传感器数据融合以实现自主机器人的自由空间检测,并通过高斯过程回归的分辨率匹配算法来更好地利用多模式传感器数据流以提高感知步骤的性能表现。
Oct, 2017
这篇论文提出了一种基于多视角融合的 3D 点云语义分割方法,通过对球面和鸟瞰图进行高效的二维卷积神经网络分割,结合两个视角的分割结果,有效缓解了单个视角方法中存在的信息损失问题,既能提高准确率又能保证速度,在 SemanticKITTI 数据集上实现了高准确率(mIoU 为 55.5),同时比目前最先进的基于投影的方法 RangeNet++ 和 PolarNet 分别快 1.6 倍和 3.1 倍。
Nov, 2020