K-Radar:各种天气条件下自动驾驶 4D 雷达物体检测
雷达在自动驾驶环境感知方面相较于广泛采用的摄像头和 LiDAR 具有更强的适应性。本文介绍了一个新颖的大规模多模态数据集,首次同时捕获了两种类型的 4D 雷达,为进一步研究有效的 4D 雷达感知算法提供了支持。
Oct, 2023
本文介绍了一个名为 TJ4DRadSet 的数据集,其中包含了在自动驾驶研究中使用的 4D 雷达点云。我们提供了基于 4D 雷达点云的深度学习方法的 3D 目标检测基线来展示该数据集的有效性。
Apr, 2022
通过使用 CenterRadarNet 来从 4D 雷达数据中进行高分辨率表示学习,对于 3D 物体检测和重新识别任务进行了有效的联合建模,取得了在 K-Radar 3D 物体检测基准测试上的最新成果,并在 K-Radar 数据集 V2 上展示了首次使用雷达进行的 3D 物体追踪结果。
Nov, 2023
传感器融合在自主车辆的准确和健壮的感知系统中至关重要。大多数现有的数据集和感知解决方案都专注于相机和激光雷达的融合,然而相机和雷达之间的协作被显著地低估。本论文介绍了 CRUW3D 数据集,包括 66K 个在不同行驶情景中同步并进行了校准的相机、雷达和激光雷达帧。与其他大规模自动驾驶数据集不同,我们的雷达数据以射频(RF)张量的格式呈现,包含了 3D 位置信息和时空语义信息。这种雷达格式可以使机器学习模型在相机和雷达之间交互和融合信息或特征后生成更可靠的物体感知结果。
Nov, 2023
自动驾驶技术在公共道路和工业场景中越来越普遍,但传统摄像头或激光雷达在恶劣环境下的表现受到影响。我们提出了一种基于 4D 雷达的 CNN 架构 TMVA4D,用于语义分割,并且说明了构建数据集的过程。在工业环境的数据集上,我们使用 TMVA4D 获得了 78.2% 的平均交并比分数和 86.1% 的平均 Dice 分数。
Apr, 2024
本文提出了一种基于深度学习的 Range-Azimuth-Doppler 多类物体检测算法,并伴随着一个包含动态道路用户的弯曲区域、类别标签和 2D 边界框的 novel radar 数据集,并提出了一种实例化自动注释方法
May, 2021
提出了一种新的多模态数据集 ThermRad,其中包含 3D LiDAR、4D 雷达、RGB 摄像头和热成像摄像头的数据,在恶劣气象条件下,通过融合 4D 雷达和热成像摄像头的 RTDF-RCNN 方法,有效提高了车辆、行人和骑行者的 3D 目标检测性能,为在恶劣气象和光照条件下的鲁棒性 3D 目标检测提供了新的途径。
Aug, 2023
3D 基于占据的感知管道通过捕捉详细的场景描述并且展现出在各种对象类别和形状上的强泛化能力,显著推进了自动驾驶。为了提高感知的稳健性,我们利用车载雷达的最新进展,引入一种利用 4D 成像雷达传感器进行 3D 占据预测的新方法 RadarOcc。该方法通过直接处理 4D 雷达张量而绕过了稀疏雷达点云的限制,从而保留了关键场景细节。雷达的 4D 数据的体量庞大且具有噪声,RadarOcc 通过采用多普勒频率描述符、侧瓣感知空间稀疏化和范围自注意机制,创新地解决了相关挑战。为了最小化与直接坐标转换相关的插值误差,我们还设计了基于球面的特征编码,随后进行球面到笛卡尔特征聚合。我们在公开的 K-Radar 数据集上使用不同模态的各种基准方法进行基准测试,结果表明 RadarOcc 在基于雷达的 3D 占据预测方面具有最先进的性能,即使与基于 LiDAR 或摄像头的方法相比,结果仍然令人满意。此外,我们还提供了 4D 雷达在恶劣天气条件下卓越性能的定性证据,并通过消融研究探讨了关键管道组件的影响。
May, 2024
本文提出了一种基于深度学习算法的雷达目标检测方法,该方法可直接对原始雷达张量数据进行处理,在鸟瞰图空间中为检测到的目标放置概率定向边界框。借助新建的多模态数据集,仅使用原始雷达数据作为输入,发展了一种车辆检测管道,并取得了 77.28% AP(相对 3D 外接框交并比为 0.3)的最佳性能,实现了对传统角落式汽车雷达中原始雷达数据的目标检测。
Apr, 2020
该论文探讨了基于 4D 成像雷达和摄像头的图像视图转换策略并提出一种 “雷达占用格辅助深度采样” 的方法,该方法在 VoD 和 TJ4DRadSet 数据集上的实验结果均表现出较高水平的 3D 物体检测性能。
Jul, 2023