Jun, 2023

面向受损数据的三维物体检测稳健传感器融合步骤

PDF
TL;DR本研究提出了一种新的融合步骤来解决数据损坏问题，从而使得 3D 物体检测的多模态传感器融合更加稳健。经过大量实验证明，我们的方法在正常数据上与最先进的方法相当，并在不对齐数据上表现出更好的效果。
发现论文，激发创造
  • 自动驾驶中三维物体检测对常见破坏的鲁棒性基准测试

    本研究旨在设计公共数据集，并建立三种耐受性基准 (KITTI-C、nuScenes-C 和 Waymo-C) 来检验 27 种常见情况下的真实世界杂质对三维物体检测模型的鲁棒性，结果发现基于雷达与相机融合的模型具有更好的鲁棒性。

    Mar, 2023

  • 多重破损：一个用于三维物体检测的 LiDAR - 相机融合的多模式鲁棒性数据集和基准

    通过评估多模态 3D 目标检测器在多种数据扰动下的稳健性，我们发现现有方法的鲁棒性与扰动类型和融合策略密切相关，为多模态设计选择提供了洞察。

    Feb, 2024

  • 基于激光雷达 - 相机融合技术的三维目标检测鲁棒性评估

    本研究针对自动驾驶的核心传感器进行研究，发现同时融合相机和 LiDAR 两种模式可以显著提升其性能。然而，由于当前数据集来自于昂贵的数据收集车辆，无法完全反映真实数据分布。 因此，我们提出了一种系统性的鲁棒性基准测试工具包，并在 nuScenes 和 Waymo 中建立了鲁棒性基准测试，针对当前的融合方法进行综合性分析。最后，我们提出了一种高效的鲁棒性训练策略。

    May, 2022

  • CrossFusion: 交错跨模态补充用于抵抗噪音的三维物体检测

    本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion，充分利用设计的跨模式补充策略的相机和 LiDAR 特征，实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法，还证明我们的模型具有噪声抗性和不需要重新训练，能够应用于特定故障场景，增加了 5.2％的平均精度（mAP）和 2.4％的归一化检测得分（NDS）

    Apr, 2023

  • 从融合策略角度提高 LiDAR - 摄像头融合模型对天气干扰的鲁棒性

    评估从融合策略角度出发的融合模型的鲁棒性，并提出一种简洁而实用的融合策略来增强融合模型的鲁棒性，即将来自 LiDAR 和相机源的特征进行灵活权重融合以适应不同的天气情况。

    Feb, 2024

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • 解决图像 - LiDAR 融合中的数据错位问题对点云分割

    我们关注多传感器融合模型在自动驾驶中的性能提升，但在摄像头和激光雷达传感器数据融合方面仍存在挑战，主要问题是数据的准确对齐。本文针对 nuScenes 数据集和 2DPASS 融合模型的最新研究，提出可能的解决方案和潜在改进。

    Sep, 2023

  • TransFusion: 基于 Transformer 的稳健激光雷达 - 相机融合用于三维目标检测

    TransFusion 是一种稳健的解决方案，用于处理自动驾驶中 LiDAR 和摄像头数据融合时面对的图像质量下降和误差校准问题。该方法结合了使用浅层目标查询从 LiDAR 点云预测初始边界框和自适应融合对象查询与有用的图像特征，使用注意机制确定应该从图像中获取哪些信息的特点，在大规模数据集上表现良好。

    Mar, 2022

  • 自动驾驶中多模态对齐偏差的目标检测重新校准方法

    多模式物体检测中的标定问题对传感器之间的融合至关重要，本研究通过实验证实了标定偏差对检测性能的严重影响，并提出基于语义分割的重新标定模型，以提高多模式标定偏差的性能和鲁棒性。

    May, 2024

  • 自主移动机器人的 LiDAR 和广角相机数据的强健融合

    该论文介绍了使用 LiDAR 和摄像头进行传感器数据融合以实现自主机器人的自由空间检测，并通过高斯过程回归的分辨率匹配算法来更好地利用多模式传感器数据流以提高感知步骤的性能表现。

    Oct, 2017