本文系统分析了 250 多篇论文，涵盖了自主驾驶的动机、路线图、方法论、挑战和未来趋势，并深入探讨了多模态、可解释性、因果混淆、健壮性和世界模型等若干关键挑战，同时讨论了基础模型和视觉预训练的最新进展，以及如何在端到端驾驶框架中整合这些技术。

Jun, 2023

我们提出了一种灵活多用途的基于 NeRF 的模拟器，用于测试自动驾驶软件系统，重点关注传感器真实感闭环评估和创建安全关键场景。通过从实际驾驶传感器数据序列中学习，模拟器能够重构和渲染新的未见场景。我们使用该模拟器测试了自动驾驶模型对欧洲新车评估计划（Euro NCAP）所启发的安全关键场景的响应。我们的评估结果表明，虽然最先进的端到端规划器在开环环境中的正常驾驶场景中表现出色，但在闭环环境中导航我们的安全关键场景时存在严重缺陷，这凸显了端到端规划器在安全性和实际可用性方面的改进需要。通过以易于运行的评估套件的形式公开发布我们的模拟器和场景，我们邀请研究界在受控但高度可配置和具有挑战性的传感器真实环境中探索、完善和验证他们的自动驾驶模型。

Apr, 2024

我们提出了 UAD，一种基于视觉的端到端自动驾驶 (E2EAD) 方法，在 nuScenes 中实现了最佳的开环评估性能，同时在 CARLA 中显示出强大的闭环驾驶质量。

Jun, 2024

自动驾驶最新研究中，终端到终端的全栈自动化日益成为一个有应用前景的研究方向。本文通过深入分析与详细阐述，探究了该问题的更多细节。研究表明，nuScenes 数据集在相对简单的驾驶场景中存在感知信息的低利用率，尤其是包括自身状态在内的整车速度对终端到终端模型的未来路径规划起到主导作用。此外，当前的评估指标无法全面评估规划质量，导致现有基准测试可能产生偏见。为了解决这个问题，我们引入了一种新的度量指标来评估预测轨迹是否符合道路要求。我们进一步提出了一种简单的基准模型，能够在不依赖感知注释的情况下取得有竞争力的结果。考虑到当前基准测试和指标的限制，我们建议学术界重新评估相关研究，并谨慎是否持续追求最新技术将带来令人信服和普适性较强的结论。

Dec, 2023

本论文重新评估了自动驾驶系统在三个主要任务中规划任务的评估方法，并设计了一种基于 MLP 的方法，仅使用原始传感器数据直接输出自车未来轨迹，在 nuScenes 数据集上实现了最先进的端到端规划性能，降低了约 30％的平均 L2 错误。同时，提供了对 nuScenes 数据集成功规划任务的关键因素进行深入分析，并提出了需要重新思考的问题。

May, 2023

综述了近期基于机器学习的技术，包括但不限于目标检测、轨迹预测与强化学习，以及对其进行分类和研究趋势，同时指出了该领域的挑战和未来研究方向。

Aug, 2023

通过剔除近乎所有最新方法中的两个偏见，即通过对目标点的强归纳偏见实现侧向恢复和通过多模式路点预测的纵向平均实现减速，在建立一个新的基于结构化深度学习和容易实现的系统中，TF++ 在 Longest6 和 LAV 的基准测试上达到了最好的表现并提升了 14 分驾驶分数。

Jun, 2023

本文介绍了 LMDrive，一种语言引导的、端到端的、闭环自动驾驶框架，它独特地处理和整合多模态传感器数据和自然语言指令，实现了与人类和导航软件在真实教学环境中的交互。为了促进基于语言的闭环自动驾驶的进一步研究，我们还公开发布了包含约 64K 个指令跟踪数据片段的数据集，以及测试系统处理复杂指令和具有挑战性驾驶场景的 LangAuto 基准。进行了广泛的闭环实验以证明 LMDrive 的有效性。据我们所知，我们是首个利用 LGM 进行闭环端到端自动驾驶的工作。相关代码可在此网址找到：https://

Dec, 2023

本研究提出 2 种针对自动驾驶的车道检测指标：端到端横向偏移度量（E2E-LD）和基于 E2E-LD 的基于帧的模拟横向偏移度量（PSLD），并在多个数据集上进行了实证研究。结果表明，传统度量与 E2E-LD 具有较强的负相关性，并可能会导致过度拟合于传统度量标准，而不是在实际应用中表现更好。因此，该研究旨在帮助社区实现更多面向下游应用的车道检测模型评估。

Mar, 2022

本文提出了第一个基于机器学习的自动驾驶闭环规划基准测试，介绍了一个数据集、模拟器和规划特定度量的框架。数据集包含来自美国和亚洲四个城市的 1500 小时的人类驾驶数据，模拟器使用反应性代理程序，提供了大量的通用和特定场景的规划度量。

Jun, 2021