自主驾驶中基于视觉的三维占用预测:综述与展望
3D 占用感知技术是观察和理解自动驾驶车辆的密集 3D 环境的一项目标。本调查报告回顾了最新的 3D 占用感知研究,提供了对各种输入模态的方法论的深入分析,总结了网络流程、信息融合技术以及有效的网络训练,评估了现有算法在最流行的数据集上的性能,并讨论了挑战和未来研究方向,希望激发学术界对 3D 占用感知的更多研究工作。
May, 2024
本文提出了一种自监督学习方法 SelfOcc,使用视频序列仅学习 3D 占用情况,通过将图像转换为 3D 空间来得到 3D 场景表示,并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7%,并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果,分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。
Nov, 2023
介绍一种用于协同 3D 语义占据预测的方法,通过混合特征融合和车辆之间共享的压缩正交注意力特征来改进本地 3D 语义占据的预测,结果表明我们的协同语义占据预测在精确度和路面环境中的语义感知方面都优于单车的结果,并在后续感知应用中超越了最先进的协同 3D 检测技术。
Feb, 2024
本文综述了自动驾驶技术中感知系统中重要的一环 - 三维物体检测的研究进展以及应用,包括基于激光雷达和基于相机的方法,并分析了各自的优缺点和潜在的应用场景。
Jun, 2022
通过提出一种新的 3D Occupancy 表示法 (OccNet),并在 nuScenes 数据集上建立了 OpenOcc,我们方法能够有效地为多个驾驶任务提供有力的支持,并取得了显著的性能收益,例如运动规划可以实现 15%-58%的碰撞率降低。
Jun, 2023
本文旨在填补 3D 对象检测在自动驾驶中的知识空白,综述了相关领域的传感器、数据集、性能度量以及最新的检测方法,分析了其优劣,并进行了定量比较和案例研究,最后总结了研究成果和未来发展方向。
Jun, 2021
在自动驾驶中,通过分析网络效应和延迟,本文提出了一种名为 FastOcc 的新方法,通过用轻量级的 2D BEV 卷积网络代替时间消耗较大的 3D 卷积网络,加快模型的推理速度,同时保持准确性,从而实现了优越的性能。
Mar, 2024
自动驾驶车辆中,实时理解自身车辆周围的三维环境至关重要。本文介绍一种从前视二维相机图像和 LiDAR 扫描中提取特征并使用稀疏卷积网络(Minkowski Engine)进行三维语义占用预测的方法,以解决实时应用中的高计算需求和稀疏场景完整性的问题。
Mar, 2024
本研究提出了一种新的 3D 占据预测任务,旨在从多视图图像中估计对象的详细占据和语义信息,并介绍了 Coarse-to-Fine Occupancy (CTF-Occ) 网络模型,该模型在 3D 占据预测任务中表现出优越的性能。
Apr, 2023
本文提出了 Open Vocabulary Occupancy (OVO) 算法,通过知识蒸馏和像素 - 体素筛选两个关键步骤,可以对任意类别进行语义占据的预测,同时适用于大多数最先进的语义占据预测模型。在 NYUv2 和 SemanticKITTI 数据集上,OVO 与有监督的方法相比具有竞争性的性能。
May, 2023