利用语义分割从稀疏雷达聚类的占据网格学习进行道路场景理解
自动驾驶车辆中,实时理解自身车辆周围的三维环境至关重要。本文介绍一种从前视二维相机图像和 LiDAR 扫描中提取特征并使用稀疏卷积网络(Minkowski Engine)进行三维语义占用预测的方法,以解决实时应用中的高计算需求和稀疏场景完整性的问题。
Mar, 2024
通过提出一种新的 3D Occupancy 表示法 (OccNet),并在 nuScenes 数据集上建立了 OpenOcc,我们方法能够有效地为多个驾驶任务提供有力的支持,并取得了显著的性能收益,例如运动规划可以实现 15%-58%的碰撞率降低。
Jun, 2023
我们提出了一种时空预测网络管道,它可以从环境和语义标签中获取过去的信息来生成未来的占用预测,并将其应用于复杂的 nuScenes 数据集中,相较于当前 SOTA,我们的方法可以预测长达 3 秒的占用情况,并不需要 HD-Maps 和明确模拟动态物体。
May, 2022
通过将场景表示为动态占据栅格图(dynamic occupancy grid maps,DOGMs),将语义标签与占用的栅格单元关联并结合地图信息,我们提出了一个结合深度学习的时空和概率方法的新型框架来预测车辆行为,并通过与真实注释进行评估,在真实世界的 NuScenes 数据集上验证了我们的结果,表明我们的模型相对于传统的 OGM 预测方法,能够更准确地预测静态和动态车辆的行为,此外,我们进行了消融研究,并评估了语义标签和地图在架构中的作用。
Aug, 2023
本文提出了一种基于 CNN 语义分割和 CRF 模型的三维实时地图生成系统,用于精确和大规模的图像语义建模,并在 KITTI 数据集上进行了验证并取得了 10% 的分割准确率提升。
Jul, 2017
通过深度学习的逆传感器模型将雷达检测转化为极坐标测量格网,并结合多普勒雷达测量生成动态网格地图,使得自主驾驶单帧雷达精度得以提高并成为雷达安装方向无关的。
May, 2023
3D 基于占据的感知管道通过捕捉详细的场景描述并且展现出在各种对象类别和形状上的强泛化能力,显著推进了自动驾驶。为了提高感知的稳健性,我们利用车载雷达的最新进展,引入一种利用 4D 成像雷达传感器进行 3D 占据预测的新方法 RadarOcc。该方法通过直接处理 4D 雷达张量而绕过了稀疏雷达点云的限制,从而保留了关键场景细节。雷达的 4D 数据的体量庞大且具有噪声,RadarOcc 通过采用多普勒频率描述符、侧瓣感知空间稀疏化和范围自注意机制,创新地解决了相关挑战。为了最小化与直接坐标转换相关的插值误差,我们还设计了基于球面的特征编码,随后进行球面到笛卡尔特征聚合。我们在公开的 K-Radar 数据集上使用不同模态的各种基准方法进行基准测试,结果表明 RadarOcc 在基于雷达的 3D 占据预测方面具有最先进的性能,即使与基于 LiDAR 或摄像头的方法相比,结果仍然令人满意。此外,我们还提供了 4D 雷达在恶劣天气条件下卓越性能的定性证据,并通过消融研究探讨了关键管道组件的影响。
May, 2024
本文提出了一种利用贝叶斯滤波技术的环境表示和深度卷积神经网络作为长期预测器相结合的方法,针对复杂的市区情景进行预测,通过像素平衡处理以及自动生成标签等方法实现了无监督学习用于多种道路用户的长期预测。
May, 2017