Dec, 2023

VirtualPainting: 利用虚拟点和距离感知数据增强解决稀疏性的三维物体检测

PDF
TL;DR通过使用基于相机图像生成虚拟 LiDAR 点，并利用图像分割网络获得的语义标签增强这些虚拟点，以解决稀疏分布的、被遮挡或远离的对象检测问题，并通过生成专门的训练样本的距离感知数据增强技术，将这种方法无缝地整合到各种三维框架和二维语义分割方法中，从而显著提高整体检测准确性，并在 KITTI 和 nuScenes 数据集上的评估中展示了在三维和鸟瞰视角检测基准上的重大改进。
multimodal approacheslidar point cloudsobject detection performancesparsely distributed objectsdistance aware data augmentation
发现论文，激发创造
  • VPFNet: 采用虚拟基于点的 LiDAR 和立体数据融合来提高三维物体检测

    VPFNet 是一种新的网络架构，通过虚拟点 cleverly aligns and aggregates the point cloud and image data 来解决 3D 点云和图像数据之间的不匹配问题，同时利用数据增强技术来提高 3D 目标检测的性能。在 KITTI 数据集上的实验中，在保证计算效率的情况下，VPFNet 取得了很好的性能表现。

    Nov, 2021

  • 针对三维物体检测的基于语义感知的仅激光雷达伪点云生成

    通过使用 LiDAR 传感器和场景语义，我们提供了一种新的仅依靠 LiDAR 传感器的增强型原始扫描的稠密伪点云框架，无需摄像机，该框架首先利用分割模型从原始点云中提取场景语义，然后使用多模态的域转换器生成伪图像分割和深度提示，从而生成一种富含语义信息的稠密伪点云，并通过引入新的语义引导投影方法增强检测性能。

    Sep, 2023

  • 从稀疏点到稠密点云：通过有限的 LiDAR 数据增强 3D 检测

    提出了一种结合单目和基于点云的三维检测的平衡方法，使用低成本、低分辨率的传感器获取仅有 512 个点，然后将这有限的三维信息与单张图像结合重建完整的三维点云，通过与多模态现成的三维检测器结合使用，使得三维检测的准确率相比于最新的单目检测方法提高了 20%，相对于基准多模态方法在 KITTI 和 JackRabbot 数据集上提高了 6% 到 9%。

    Apr, 2024

  • 多模态虚拟点 3D 检测

    通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

    Nov, 2021

  • LiDAR 3D 物体检测中的点密度感知体素

    提出了一种基于点密度感知的体素网络（PDV）方法，通过使用核密度估计和具有点密度位置编码的自注意力，通过聚合体素特征来解决 LiDAR 的点密度变化对 3D 物体检测精度的影响。实验结果表明，PDV 在 Waymo 开放数据集上优于所有最先进的方法，在 KITTI 数据集上取得了竞争性的结果。

    Mar, 2022

  • 基于专家范围和多模态虚拟点的全稀疏长距离三维物体检测

    我们的研究论文提出了一种利用 LiDAR 和图像相结合的方法来解决长距离 3D 物体检测的问题，通过组合两种不同范围的专家网络和引入 Multimodal Virtual Points（MVP）进行数据增强，我们的方法在长距离上达到了最先进的性能。

    Oct, 2023

  • Real3D-Aug: 3D 检测和分割的点云增强方法 —— 通过放置真实带有遮挡处理的物体

    本文介绍了一种基于数据增强的方法，通过多次利用已有数据，使用现实世界中的数据模拟给点云数据进行物体检测和语义分割训练。此方法在 KITTI 物体检测和 SemanticKITTI 语义分割挑战赛中取得了显著的性能提升。

    Jun, 2022

  • 通过在点云上模拟多模态来增强三维物体检测

    该研究提出一种新的方法，通过教会单模（LiDAR）三维目标探测器模拟多模（LiDAR 图像）探测器的特征和响应来提高其效率，从而实现在推断时只需要 LiDAR 数据的目标识别，经过实验，这种方法在性能上优于所有 SOTA 的 LiDAR-only 3D 检测器，甚至超越了基线 LiDAR-image 检测器，填补了单模与多模检测器之间的 72％mAP 差距。

    Jun, 2022

  • 多模态三维物体检测的虚拟稀疏卷积

    本文提出了一种新的虚拟稀疏卷积操作算子 VirConv (Virtual Sparse Convolution)，并基于此设计了 VirConvNet，用于快速且有效地进行基于虚拟点的 3D 目标检测，并在 KITTI 3D car 检测中取得了领先的成果，代码公开。

    Mar, 2023

  • 通过基于距离的点云密度优化提升 LiDAR 三维物体检测

    本文通过数据角度分析了现有的 LiDAR 3D 目标检测算法尤其是对于离传感器较远区域性能欠佳的问题，发现检测模型中存在对密集物体的学习偏差，提出了一种基于模型无关的点云密度调整预处理机制，使用迭代 MCMC 优化估计不同距离范围内点密度的最优参数，实验证明这种技术可以提高现有检测器的性能。

    Jun, 2023