Sep, 2023

突破视界：通过跨模态幻觉进行鲁棒的点云三维物体检测

PDF
TL;DR通过跨模态幻觉实现稳健的点云三维物体检测的新框架，结合空间和特征的多次对齐以实现骨干网络的细化和幻觉生成，提出了空间对齐和特征对齐的步骤以处理几何差异和感知模态间的属性差距，通过单模态数据进行推断阶段的输入，实现更好的困难检测和高效率的检测。在 View-of-Delft (VoD) 数据集上的广泛实验表明，该方法在雷达和 LiDAR 物体检测上优于最先进的方法，同时保持了竞争性的运行效率。
3d object detectionpoint cloudscross-modal hallucinationlidar4d radar
发现论文，激发创造
  • 从多视图到空心 3D：利用虚构实现的空心 3D R-CNN 进行 3D 物体检测

    本文提出了一种新的方法，将点云数据视为中空三维数据，并针对目标检测问题提出了基于 H-23D R-CNN 架构的点云数据检测算法，该算法利用多视角特征和新颖的双向引导多视角融合模块进行中空三维点云检测，实验结果表明该算法在 KITTI 数据集和 Waymo Open 数据集上的检测效果都优于当前最优算法。

    Jul, 2021

  • 通过在点云上模拟多模态来增强三维物体检测

    该研究提出一种新的方法，通过教会单模（LiDAR）三维目标探测器模拟多模（LiDAR 图像）探测器的特征和响应来提高其效率，从而实现在推断时只需要 LiDAR 数据的目标识别，经过实验，这种方法在性能上优于所有 SOTA 的 LiDAR-only 3D 检测器，甚至超越了基线 LiDAR-image 检测器，填补了单模与多模检测器之间的 72％mAP 差距。

    Jun, 2022

  • 基于伪激光雷达点云的单目 3D 目标检测

    提升单目深度学习算法中对于三维场景物体检测的表现，通过伪 LIDAR 点云实现与 LIDAR 算法的融合，最终在 KITTI 基准测试中取得了最优结果。

    Mar, 2019

  • 多模态虚拟点 3D 检测

    通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

    Nov, 2021

  • 实用协作感知：异步和多智能体三维物体检测框架

    本文介绍一种新的通过点云序列检测车辆 3D 物体的方法，采用 LiDAR 传感器解决阴影效应与 HD 地图配合，并使用 V2X 通信技术提高车辆感知性能，同时优化带宽性能.

    Jul, 2023

  • 在未知领域的多模态 3D 对象检测

    自动驾驶中的 LiDAR 数据集存在诸如点云密度、范围和物体尺寸等属性偏差，因此在不同环境中训练和评估的物体检测网络往往会遇到性能下降的问题。为了解决这个问题，域自适应方法假设可以获取来自测试分布的未标注样本。但是，在实际世界中，部署条件和获得代表测试数据集的样本可能无法获得。我们认为，更现实和具有挑战性的形式是要求对未知目标域具有性能的鲁棒性。我们提出了一种双重方式来解决这个问题。首先，我们利用大多数自动驾驶数据集中存在的配对的 LiDAR - 图像数据进行多模态物体检测。我们建议通过利用图像和 LiDAR 点云的多模态特征来进行场景理解任务，从而使得物体检测器对未知域的转换更加鲁棒。其次，我们训练一个 3D 物体检测器，在不同分布之间学习多模态物体特征，并促进这些源域之间的特征不变性，以提高对未知目标域的泛化性能。为此，我们提出了 CLIX$^ ext {3D}$，它是一个用于 3D 物体检测的多模态融合和有监督对比学习框架，它在对不同数据集转换下实现了最先进的域泛化性能。

    Apr, 2024

  • LXL：激光雷达独占的 3D 物体检测，结合 4D 成像雷达和相机融合

    该论文探讨了基于 4D 成像雷达和摄像头的图像视图转换策略并提出一种 “雷达占用格辅助深度采样” 的方法，该方法在 VoD 和 TJ4DRadSet 数据集上的实验结果均表现出较高水平的 3D 物体检测性能。

    Jul, 2023

  • 基于全景分割引导的 LiDAR 多视角三维物体检测通用框架

    本研究提出了一种利用分割信息指导检测过程的多任务框架，该框架联合执行三维物体检测和全景分割，可利用多视角信息解决每个投影视图的缺陷，并通过前景语义信息和中心密度热力图来提示物体的可能框中心位置。在 nuScenes 数据集上进行的大量实验表明，该方法提供了显著的性能提升，基于单级 CenterPoint 3D 物体检测网络的所提出方法在 nuScenes 3D 检测基准上取得了 67.3 NDS 的最新性能。

    Mar, 2022

  • 学习的多模态对齐的 4D-Net

    4D-Net 是一种使用 3D 点云和 RGB 感知信息，利用动态连接学习和几何约束来进行三维物体检测的方法。在 Waymo Open Dataset 上，相较于现有方法和强基线，其利用运动线索和密集图像信息更能成功检测到远处的物体。

    Sep, 2021

  • CrossFusion: 交错跨模态补充用于抵抗噪音的三维物体检测

    本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion，充分利用设计的跨模式补充策略的相机和 LiDAR 特征，实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法，还证明我们的模型具有噪声抗性和不需要重新训练，能够应用于特定故障场景，增加了 5.2％的平均精度（mAP）和 2.4％的归一化检测得分（NDS）

    Apr, 2023