F-Cooper: 以 3D 点云为基础的自动驾驶车辆边缘计算系统的特征协作感知
借助 LiDAR 3D 点云技术,基于来自联网汽车不同位置和角度的传感器数据融合,提出一种基于点云的 3D 物体检测方法,拓展感知区域、提高检测准确性、促进增强结果,同时通过现有的车联网技术,可实现利用点云数据进行协同感知。
May, 2019
本文提出一种新的协同三维物体检测框架,通过利用空间分布式传感器所提供的信息来辅助自动驾驶系统中的感知精度,同时避免因事先的通信方案导致通信拥堵和 / 或性能受限的问题。通过两个复杂的驾驶场景的实验结果和带宽使用分析,证明了该方法可以在各种检测困难情况下节省通信和计算成本,并显著提高检测性能。
May, 2022
本文提出了两种单模态传感器的合作式三维物体检测方案,分别为早期融合方案和后期融合方案,并通过在 T 形路口和环岛等复杂驾驶情境中创建的协作数据集对两种方案及其混合策略进行了性能评估。评估结果表明,早期融合方案在检测精度上表现优异,能识别 95% 以上的物体,而后期融合方案在传输开销上表现更加经济实用。文章同时研究了传感器数量及配置如何影响系统性能。
Dec, 2019
合作感知技术对提升自主车辆能力和道路安全具有多方面的好处,使用路侧传感器以及车载传感器可以提高可靠性和扩展传感器范围。我们提出了一种合作多模态融合模型 CoopDet3D 和感知数据集 TUMTraf-V2X,用于合作式三维物体检测和跟踪任务。通过多次实验,我们证明了相对于车载摄像头 - LiDAR 融合模型,我们的 CoopDet3D 摄像头 - LiDAR 融合模型在三维 mAP 上实现了 + 14.36 的提高。最后,我们将我们的数据集、模型、标注工具和开发套件公开发布在我们的网站上。
Mar, 2024
本文提出一种基于 3D 目标检测器 PV-RCNN 的有效的基点特征融合框架 ——Fusion PV-RCNN(简称 FPV-RCNN),用于解决集体感知中的高精度数据共享和低通信开销的问题,实现数据的压缩和融合,并提高数据融合的鲁棒性。FPV-RCNN 能够显著降低 CPM 的大小,提高检测精度并可有效应用于自动驾驶场景中。
Sep, 2021
近年来光学传感器和学习算法对于自主驾驶的发展有了显著提高,但今天的自主驾驶仍受到有限视线感知能力和数据驱动方法处理极端情况的脆弱性的阻碍。因此,使用车辆间通信协同感知被认为是一种增强自主驾驶的重要方式。本篇论文提出 COOPERNAUT,一种基于机器学习的协同感知驾驶模型。COOPERNAUT 可以通过车辆间的通信对紧凑型基于点的 LiDAR 信息进行编码并在危险情况下增强自主驾驶的性能。本文所开发的网络增强驾驶仿真框架,AutoCastSim,可以在典型的事故场景下进行驾驶模型实验,结果表明,在这种具有挑战性的驾驶情况下,使用 COOPERNAUT 的协同感知驾驶模型比自我中心驾驶模型有着 40%的平均成功率的提高,并且需要的带宽比之前的 V2VNet 小 5 倍。
May, 2022
自动驾驶的环境感知是关键因素,研究着重于实现实时感知与预测,通过在不同资源环境中进行计算卸载,最终的模型可以在云端实时运行并提供较好的性能。
Aug, 2023
通过合作感知技术提高自动驾驶车辆在不利环境下的视觉感知质量,采用最佳辅助车辆优化协同感知并提高目标检测准确性,特别关注行人检测,验证结果表明该方法在挑战场景中提高了协作感知性能和驾驶安全。
Apr, 2024
利用自车与基础设施传感器数据的合作使用可以显著提高自主驾驶感知能力,为解决车辆 - 基础设施合作三维物体检测中的问题,我们提出了一种新的合作检测框架 Feature Flow Net (FFNet),它是一种基于流的特征融合框架,利用特征流预测模块预测未来特征并进行补偿,同时引入自监督训练方法使 FFNet 能够从原始基础设施序列中生成具备特征预测能力的特征流,在 DAIR-V2X 数据集上实验结果表明,我们的方法在只需 1/100 的原始数据传输成本且在一个模型中覆盖所有延迟的情况下,优于现有的合作检测方法。
Nov, 2023
利用微波雷达和摄像机的互补性,基于深度学习的雷达摄像机三维物体检测方法可以可靠地在低能见度条件下生成准确的检测结果。这使得它们成为自动驾驶车辆感知系统中的首选,特别是由于两种传感器的综合成本比激光雷达更便宜。我们提出了 ClusterFusion,一种利用雷达点云的局部空间特征的架构,在将特征投影到图像平面之前,对雷达点云聚类进行特征提取。ClusterFusion 在 nuScenes 数据集的测试集中取得了最先进的性能,nuScenes 检测分数(NDS)为 48.7%。我们还研究了不同雷达特征提取策略在点云聚类上的性能:一种手工策略,一种基于学习的策略以及两者的组合,并发现手工策略提供了最佳的性能。本研究的主要目标是探索使用雷达点云聚类直接提取雷达的局部空间和逐点特征,用于在图像平面上进行交叉模态特征融合的雷达 - 单目摄像机三维物体检测方法。
Sep, 2023