R2P:从毫米波雷达到点云的深度学习模型
本论文提出了一种新的点云超分辨率方法,名为雷达扩散。该方法使用受均值回归的随机微分方程定义的扩散模型,并通过与对应的 LiDAR 点云的监督来处理雷达幽灵点,将稀疏的毫米波雷达点云增强为稠密的类似 LiDAR 的点云。通过在两个不同的数据集上评估,实验结果表明我们的方法在 3D 雷达超分辨率任务中优于现有的基准方法。此外,我们证明了我们增强的雷达点云能够进行下游的基于点云的雷达配准任务。
Apr, 2024
本研究探讨了利用安装在无人机上的毫米波雷达传感器对多个物体在空间中重建 3D 形状的可行性,并评估了两个不同的模型,结果表明这两个模型在解决多个物体重建问题方面都很有前途。
Nov, 2022
本文提出一种混合逐点雷达 - 光学融合方法,结合了来自范围 - 多普勒频谱和光学图像的密集上下文信息,用于自动驾驶场景中的目标检测,表现优于最近的 FFT-RadNet 方法。
Jul, 2023
雷达和相机融合在感知任务中具有鲁棒性,通过充分利用两种传感器的优势。本文介绍了一种基于学习的方法来推断与三维物体相关的雷达点的高度,通过引入新的鲁棒回归损失来解决稀疏目标的挑战,并采用多任务训练策略强调重要特征。与最先进的高度扩展方法相比,雷达的平均绝对高度误差从 1.69 米降低到 0.25 米。估计的目标高度值用于预处理和丰富雷达数据,以用于后续的感知任务。集成这些精细的雷达信息进一步提升了现有雷达相机融合模型在物体检测和深度估计任务中的性能。
Apr, 2024
本文提出了一种低复杂度高精度的端到端方法,使用来自低成本 mm 波雷达的稀疏点云序列,结合扩展物体跟踪 Kalman 滤波器和针对雷达点云的有效特征提取和快速推理的深度学习分类器,实时跟踪和识别多个主体,并在一组八个对象中准确识别三个对象,操作速度高达 15 帧 / 秒。
May, 2021
通过将点云处理为无序数据格式,使用 PointCNN 基于深度学习的方法对雷达点云进行语义分割的性能超过基于 PointNet++ 的现有方法,以解决卷积在雷达点云上的不规则性和排列变化性挑战。
May, 2023
利用 mmWave 雷达进行人体活动识别的大规模开放数据集 MiliPoint,提供了一种更有效的基于点集的深度学习方法,包括 DGCNN、PointNet++ 和 PointTransformer 等,可为进一步发展奠定基础。
Sep, 2023
本文提出了一种基于可微分的表示变换模块的框架,使得 3D 物体检测与深度估计的深度神经网络能够在此统一的框架中进行端到端的训练,该框架与大多数目前最先进的神经网络兼容,并在 KITTI 基于图像的 3D 物体检测排行榜上获得最高名次。
Apr, 2020
利用微波雷达和摄像机的互补性,基于深度学习的雷达摄像机三维物体检测方法可以可靠地在低能见度条件下生成准确的检测结果。这使得它们成为自动驾驶车辆感知系统中的首选,特别是由于两种传感器的综合成本比激光雷达更便宜。我们提出了 ClusterFusion,一种利用雷达点云的局部空间特征的架构,在将特征投影到图像平面之前,对雷达点云聚类进行特征提取。ClusterFusion 在 nuScenes 数据集的测试集中取得了最先进的性能,nuScenes 检测分数(NDS)为 48.7%。我们还研究了不同雷达特征提取策略在点云聚类上的性能:一种手工策略,一种基于学习的策略以及两者的组合,并发现手工策略提供了最佳的性能。本研究的主要目标是探索使用雷达点云聚类直接提取雷达的局部空间和逐点特征,用于在图像平面上进行交叉模态特征融合的雷达 - 单目摄像机三维物体检测方法。
Sep, 2023