MVFAN: 4D 雷达物体检测的多视图特征辅助网络
通过使用 CenterRadarNet 来从 4D 雷达数据中进行高分辨率表示学习,对于 3D 物体检测和重新识别任务进行了有效的联合建模,取得了在 K-Radar 3D 物体检测基准测试上的最新成果,并在 K-Radar 数据集 V2 上展示了首次使用雷达进行的 3D 物体追踪结果。
Nov, 2023
自动驾驶技术在公共道路和工业场景中越来越普遍,但传统摄像头或激光雷达在恶劣环境下的表现受到影响。我们提出了一种基于 4D 雷达的 CNN 架构 TMVA4D,用于语义分割,并且说明了构建数据集的过程。在工业环境的数据集上,我们使用 TMVA4D 获得了 78.2% 的平均交并比分数和 86.1% 的平均 Dice 分数。
Apr, 2024
自主驾驶中基于雷达与视觉融合的深度学习方法对于三维目标检测起到重要作用,本文综述了雷达 - 视觉融合的综合研究,特别关注了区域兴趣融合和端到端融合策略,并介绍了最新的四维雷达技术及其在自动驾驶中的应用。
Jun, 2024
该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks(MV3D)框架,该框架采用多传感器融合技术,将 LIDAR 点云和 RGB 图像作为输入,并预测有方向的 3D 界限框。实验表明,该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25%和 30%,在 2D 检测中也表现出显著的技术优势。
Nov, 2016
本文提出了一种基于多视角融合的 3D 目标检测网络,结合了激光雷达鸟瞰视角、激光雷达距离视角和相机视角图像,使用注意力机制和额外任务优化点特征和结构信息,有效地实现了多视角特征的适应性融合,该网络在 KITTI 3D 目标检测数据集上的表现令人满意。
Nov, 2020
本文提出了一种新颖的多视角融合算法 (MVF),它能够从鸟瞰视角和透视视角有效地学习利用互补信息,其中采用了动态体素化方法。在 Waymo 开放数据集和 KITTI 数据集上的评估表明,MVF 模型显著提高了检测精度。
Oct, 2019
该论文探讨了基于 4D 成像雷达和摄像头的图像视图转换策略并提出一种 “雷达占用格辅助深度采样” 的方法,该方法在 VoD 和 TJ4DRadSet 数据集上的实验结果均表现出较高水平的 3D 物体检测性能。
Jul, 2023
雷达在自动驾驶环境感知方面相较于广泛采用的摄像头和 LiDAR 具有更强的适应性。本文介绍了一个新颖的大规模多模态数据集,首次同时捕获了两种类型的 4D 雷达,为进一步研究有效的 4D 雷达感知算法提供了支持。
Oct, 2023
传感器融合在自主车辆的准确和健壮的感知系统中至关重要。大多数现有的数据集和感知解决方案都专注于相机和激光雷达的融合,然而相机和雷达之间的协作被显著地低估。本论文介绍了 CRUW3D 数据集,包括 66K 个在不同行驶情景中同步并进行了校准的相机、雷达和激光雷达帧。与其他大规模自动驾驶数据集不同,我们的雷达数据以射频(RF)张量的格式呈现,包含了 3D 位置信息和时空语义信息。这种雷达格式可以使机器学习模型在相机和雷达之间交互和融合信息或特征后生成更可靠的物体感知结果。
Nov, 2023
本文提出了一种利用多视角 LiDAR 返回和摄像头图像的终端到终端物体检测和轨迹预测方法,使用 Bird's-Eye View (BEV) 网络的状态 -of-the-art 融合历史 LiDAR 数据和高清地图的体素化特征来执行检测和预测任务。在此基础上,我们使用 LiDAR Range-View (RV)功能扩展了此模型,使用 LiDAR 原始信息的非量化表示。RV 特征图被投影到 BEV 中,并与计算自 LiDAR 和高清地图的 BEV 特征融合。最终输出检测和轨迹,这是一个单一的可训练终端到终端网络。在实际的无人驾驶车辆数据和公共 nuScenes 数据集上,所提出的多视角融合方法的表现都优于最先进的技术,并且增加了较少的计算成本。
Aug, 2020