DualAD: 动态和静态世界的端到端驾驶分解

CVPRJun, 2024

DualAD: 动态和静态世界的端到端驾驶分解

DualAD: Disentangling the Dynamic and Static World for End-to-End Driving

Simon Doll, Niklas Hanselmann, Lukas Schneider, Richard Schulz, Marius Cordts...

TL;DR自动驾驶的最新方法将整个驾驶任务的多个子任务整合成一个单一的流水线，可以通过在不同模块之间传递潜在表示进行端到端的训练。与之前依赖统一网格表示场景置信状态的方法相比，我们提出了专用的表示方法来解耦动态代理和静态场景元素，从而明确补偿相邻时间步之间的自我和对象运动的影响，并在时间上灵活地传播置信状态。此外，动态对象不仅可以关注输入的摄像头图像，还可以通过新颖的动态 - 静态交叉注意力直接从推断的静态场景结构中受益。对具有挑战性的 nuScenes 基准的大量实验证明了我们所提出的双流设计的优势，尤其是用于对场景中高动态代理建模，并凸显了我们方法的改进时间一致性。我们的方法 DualAD 不仅胜过独立训练的单任务网络，还在驾驶的功能链上的所有任务上大幅改进了之前最先进的端到端模型。

Abstract

State-of-the-art approaches for autonomous driving integrate multiple sub-tasks of the overall driving task into a single pipeline that can be trained in an end-to-end fashion by passing →

autonomous driving end-to-end fashion latent representations dynamic agents static scene elements

发现论文，激发创造

GenAD: 生成式端到端自动驾驶

提出了一个新的端到端自动驾驶范式，自动驾驶的关键在于预测自车和周围环境随着时间的演变，通过生成建模问题通过 GenAD 框架，模型了自动驾驶问题，并在广泛使用的 nuScenes 基准测试中取得了高效的最新成果。

Feb, 2024

无需昂贵模块化和 3D 手动标注的端到端自动驾驶

我们提出了 UAD，一种基于视觉的端到端自动驾驶 (E2EAD) 方法，在 nuScenes 中实现了最佳的开环评估性能，同时在 CARLA 中显示出强大的闭环驾驶质量。

Jun, 2024

利用任务适应性注意力生成器的实时自主驾驶多任务学习

本文介绍了一种新的实时多任务网络，包括单目三维物体检测、语义分割和密集深度估计，通过引入任务自适应注意力生成器来解决多任务学习中普遍存在的负迁移问题，并利用硬参数共享方法提高效率，能够同时处理多个任务，尤其是三维物体检测，并保持实时处理速度。经过在 Cityscapes-3D 数据集上的严格优化和深入剖析研究，我们的网络始终优于各种基准模型。

Mar, 2024

基于语义深度云地图和多智能体技术的端到端自动驾驶

本文提出了一种深度学习模型，通过端到端和多任务学习方法进行训练，同时执行感知和控制任务，用于自动驾驶车辆的点对点导航；在 CARLA 模拟器上进行评估，同时与其他已有模型进行比较和消融实验，实现了更高的驾驶分数。

Apr, 2022

FusionAD: 自动驾驶的预测和规划任务的多模态融合

FusionAD 是第一个将相机和激光雷达传感器融合的统一框架，通过多模态特征的优势，在感知任务中实现了领先水平。

Aug, 2023

使用数据驱动算法的增强型自主驾驶仿真

本文提出增强现实自动驾驶模拟 (AADS) 方法来帮助自动驾驶技术的开发和测试，使用 LiDAR 和相机扫描街道场景并生成高度真实的交通流量以用于场景复原，其兼具虚拟环境灵活性和真实世界的真实性，实现了全方位的自动驾驶系统感知到规划的端到端训练和测试。

Jan, 2019

DA4AD：面向自主驾驶的端到端深度注意力视觉定位

本文提出了一种基于深度注意力感知特征的视觉定位框架，可在自动驾驶中实现厘米级别的定位精度。通过使用新型端到端的深度神经网络，利用深度注意机制寻找显著、稳定性强的特征，以建立强鲁棒性的匹配，并成功估计高精度的相机姿态。经过大量的实验验证，证明了我们的方法在各种挑战性场景下，都能够达到非常具有竞争力的定位精度，这为未来自动驾驶的低成本定位解决方案提供了新的可能性。

Mar, 2020

DriveWorld：4D 预训练场景理解通过 World 模型用于自动驾驶

通过 DriveWorld 框架，从多摄像头自驾车视频中进行时空预训练，有效提高了各种自主驾驶任务的性能。

May, 2024

融合伪标签与弱监督用于动态交通场景

引入了一个弱监督标签统一流程，用于合并来自多个训练在异构数据集上的目标检测模型的伪标签，从而构建了一个统一的标签空间，纠正偏见并提高泛化能力。通过对多个数据集上的目标检测模型进行微调，并精确验证伪标签，重新训练一个目标检测模型，最终得到一个在动态交通场景中表现出色的模型，并在具有挑战性的道路条件下充分展示了该方法的有效性。值得注意的是，该方法在目标检测性能方面取得了显著的提升，得到了对领域变化具有更高抵抗力的模型。

Aug, 2023

可解释的端到端驾驶模型用于隐式场景理解

通过传感器数据获取综合场景信息，并为下游任务提供基础，对于自动驾驶车辆的安全至关重要，本文提出了一种端到端的可解释性隐式驾驶场景理解模型，通过规划模块引导提取隐式高维场景特征作为场景理解结果，并使用辅助感知任务进行可视化验证，实验证明我们的方法在 CARLA 基准测试上达到了最新的最高水平，并能够获取体现与驾驶相关的更丰富的场景信息，实现下游规划的卓越性能。

Aug, 2023