UniSim：神经闭环传感器模拟器
我们提出了一种灵活多用途的基于 NeRF 的模拟器，用于测试自动驾驶软件系统，重点关注传感器真实感闭环评估和创建安全关键场景。通过从实际驾驶传感器数据序列中学习，模拟器能够重构和渲染新的未见场景。我们使用该模拟器测试了自动驾驶模型对欧洲新车评估计划（Euro NCAP）所启发的安全关键场景的响应。我们的评估结果表明，虽然最先进的端到端规划器在开环环境中的正常驾驶场景中表现出色，但在闭环环境中导航我们的安全关键场景时存在严重缺陷，这凸显了端到端规划器在安全性和实际可用性方面的改进需要。通过以易于运行的评估套件的形式公开发布我们的模拟器和场景，我们邀请研究界在受控但高度可配置和具有挑战性的传感器真实环境中探索、完善和验证他们的自动驾驶模型。
Apr, 2024
在这篇论文中，我们介绍了一种介于开环评估和闭环评估之间的评估范式，即使用大型数据集与非反应式模拟器相结合，实现大规模真实世界基准测试。我们展示了该方法在衡量终到终自动驾驶时更好地与闭环评估对齐，并在 CVPR 2024 的新竞赛中取得了一些新的见解。
Jun, 2024
本文提出了一种利用深度神经网络建模驾驶安全体验的简单的端到端可训练式机器学习系统，可以用于验证自动驾驶系统的性能，而无需进行昂贵且耗时的道路测试。
May, 2021
本文介绍了 AdvSim，这是一个对任何基于 LiDAR 的自主系统生成安全关键场景的对抗性框架，通过直接从传感器数据模拟获取针对全自主栈的安全关键场景。
Jan, 2021
本文提出了一种名为 LiDARsim 的模拟器，利用真实数据生成 3D 场景，通过物理模拟和深度神经网络相结合来生成 LiDAR 点云，用于测试感知算法和评估安全场景。
Jun, 2020
实现安全可靠的自动驾驶车辆开发的关键是逼真的模拟。传感器模拟是其中的核心组成部分，可以在模拟中测试整个自主系统。然而，目前的基于传感器数据的自动重建方法在野外数据的稀疏性和噪声方面存在问题。为了解决这些问题，我们提出了 CADSim 方法，它通过小量 CAD 模型的部件感知目标类别先验和可微分渲染来自动重建包括有良好真实感的车辆几何形状，包括关节轮。我们的实验证明，与现有方法相比，我们的方法可以更准确地从稀疏数据中恢复形状，并且训练和渲染效率高。我们在几个应用中展示了我们重建的车辆，包括对自主感知系统的准确测试。
Nov, 2023
通过生成模型学习一个真实世界互动的通用模拟器 (UniSim)，以模拟高级指令和低级控制的可视结果，并用于训练高级视觉 - 语言规划器和低级增强学习策略，实现纯粹从学习的真实世界模拟器中的零样本现实世界转移。
Oct, 2023
UniGen 是一种用于通过模拟生成新交通场景以评估和改进自动驾驶软件的新方法，通过统一建模来模拟所有驾驶场景元素，包括新代理的位置、初始状态和未来运动轨迹，以实现对现有场景中所有上下文的完全条件。该方法结合自回归代理注入，使每个新代理的位置和运动轨迹都依赖于所有已有代理及其轨迹，从而产生具有低碰撞率的逼真场景。在 Waymo Open Motion 数据集上的实验证明 UniGen 优于现有前沿技术。
May, 2024