无需昂贵模块化和 3D 手动标注的端到端自动驾驶
在自动驾驶领域,有效特征学习的重要性被广泛认可。本文介绍了 UniPAD,一种应用 3D 体积可微分渲染的新型自监督学习范式。UniPAD 隐含地编码了 3D 空间,便于连续 3D 形状结构的重建和其 2D 投影的复杂外观特征。我们的方法的灵活性使其可以无缝集成到 2D 和 3D 框架中,实现对场景的更全面理解。我们通过在各种下游 3D 任务上进行广泛的实验,证明了 UniPAD 的可行性和有效性。我们的方法分别在激光雷达、摄像头和激光雷达 - 摄像头基线上提升了 9.1、7.7 和 6.9 NDS。值得注意的是,我们的预训练流程在 nuScenes 验证集上实现了 73.2 NDS 的 3D 物体检测和 79.4 mIoU 的 3D 语义分割,与以前的方法相比取得了最先进的结果。代码将在此 https URL 上提供。
Oct, 2023
通过大规模驾驶示范学习人类驾驶行为模型,提出基于概率规划的 VADv2 端到端驾驶模型,解决不确定性问题,在 CARLA Town05 基准测试中表现优异,在没有基于规则的封装的情况下稳定运行。
Feb, 2024
提出了一个新的端到端自动驾驶范式,自动驾驶的关键在于预测自车和周围环境随着时间的演变,通过生成建模问题通过 GenAD 框架,模型了自动驾驶问题,并在广泛使用的 nuScenes 基准测试中取得了高效的最新成果。
Feb, 2024
通过规划导向的主动学习方法,本研究探索了如何在自动驾驶中实现样本和标注的高效利用,实验证明该方法在性能上远超过一般的主动学习方法,并且仅使用了 30% 的 nuScenes 数据就取得了与最先进的端到端自动驾驶方法相媲美的性能,希望本研究能激发未来从数据为中心的角度探索端到端自动驾驶的相关研究。
Mar, 2024
提出一种基于深度学习的方法,将预测、决策和规划模块融合起来,以克服自动驾驶系统中基于规则的方法在真实世界应用中的不足,特别是在城市场景中。所提出的 DNN 模型仅经过 10 小时的人工驾驶数据训练,并且支持市场上所有的批量生产 ADAS 功能。在此论文中,展示了该方法在不对车辆的传感器设置和计算平台进行任何修改的情况下,通过部署到集约的测试车辆上,展示了其可行性、可用性和商业潜力。
May, 2024
我们在这项研究中填补现有无监督领域自适应方法的空白,这些方法主要集中于适应已经建立的高密度自动驾驶数据集。我们专注于稀疏的点云,从不同的角度捕捉场景,不仅来自道路上的车辆,还来自人行道上的移动机器人,遇到显著不同的环境条件和传感器配置。我们引入了无监督对抗领域自适应三维物体检测(UADA3D),不依赖于预训练源模型和师生架构,而是使用对抗性方法直接学习域不变特征。我们在各种适应场景中证明了其功效,在自动驾驶汽车和移动机器人领域都取得了显著的改进。我们的代码是开源的,即将推出。
Mar, 2024
本文提出一种新的无监督领域自适应模型,通过像素级和特征级变换相结合解决了自主驾驶中更复杂的目标检测问题,同时引入了生成对抗网络和循环一致性损失以及区域提案特征对抗训练等方法,通过实验证明了本方法的鲁棒性和优越性。
Sep, 2018
自动驾驶的最新方法将整个驾驶任务的多个子任务整合成一个单一的流水线,可以通过在不同模块之间传递潜在表示进行端到端的训练。与之前依赖统一网格表示场景置信状态的方法相比,我们提出了专用的表示方法来解耦动态代理和静态场景元素,从而明确补偿相邻时间步之间的自我和对象运动的影响,并在时间上灵活地传播置信状态。此外,动态对象不仅可以关注输入的摄像头图像,还可以通过新颖的动态 - 静态交叉注意力直接从推断的静态场景结构中受益。对具有挑战性的 nuScenes 基准的大量实验证明了我们所提出的双流设计的优势,尤其是用于对场景中高动态代理建模,并凸显了我们方法的改进时间一致性。我们的方法 DualAD 不仅胜过独立训练的单任务网络,还在驾驶的功能链上的所有任务上大幅改进了之前最先进的端到端模型。
Jun, 2024