Nov, 2023

驶向未来：基于世界模型的自动驾驶多视角视觉预测和规划

PDF
TL;DR自主驾驶中，通过预测未来事件并评估可预见的风险，使自动驾驶汽车能够更好地规划动作，提高道路安全和效率。我们提出了 Drive-WM，这是第一个与现有端到端规划模型兼容的驾驶世界模型。通过视图因式分解实现的联合时空建模，我们的模型在驾驶场景中生成具有高保真度的多视图视频。基于其强大的生成能力，我们首次展示了将世界模型应用于安全驾驶规划的潜力。特别是，我们的 Drive-WM 能够根据不同的驾驶操纵方式驾驶到多个未来，并根据基于图像的奖励确定最佳轨迹。对真实驾驶数据集的评估验证了我们的方法能够生成高质量、一致性和可控性的多视图视频，为真实世界模拟和安全规划开辟了新的可能性。
autonomous drivingpredicting future eventsevaluating foreseeable risksdrive-wmworld model
发现论文，激发创造
  • 自动驾驶的世界模型：初步调查

    在自动驾驶领域中，世界模型的能力是重要的，既可以确保安全性和效率性，还能关键性地帮助决策过程，通过合成和解释大量的传感器数据，从而预测潜在的未来情景并弥补信息缺失。本文回顾了自动驾驶领域中当前状态和世界模型的前景发展，包括其理论基础、实际应用以及正在进行的研究努力以克服现有的限制。突出世界模型在推进自动驾驶技术中的重要作用，本综述旨在为研究社区提供基础参考，便于快速获得对这一新兴领域的理解，并激发持续的创新和探索。

    Mar, 2024

  • DriveDreamer-2: 增强型世界模型用于多样化驾驶视频生成

    DriveDreamer-2 是第一个使用大型语言模型生成定制驾驶视频的世界模型，它可以以用户友好的方式生成不常见的驾驶视频，并通过生成的视频提高驾驶感知方法的训练效果，视频生成质量超过其他最先进的方法，相对改进幅度达 30% 和 50%。

    Mar, 2024

  • DriveWorld：4D 预训练场景理解通过 World 模型用于自动驾驶

    通过 DriveWorld 框架，从多摄像头自驾车视频中进行时空预训练，有效提高了各种自主驾驶任务的性能。

    May, 2024

  • Vista：一个具有高度真实和多功能可控性的通用驾驶世界模型

    通过系统诊断现有方法的不足，我们提出了具有高保真度和灵活可控性的可扩展驾驶世界模型 Vista，利用新的损失函数促进移动实例和结构信息的学习，并通过有效的潜在替代方法注入历史帧作为前提进行连贯的长程预测。此外，我们利用 Vista 本身的能力首次建立了一种对真实世界动作评估的通用奖励。

    May, 2024

  • DriveDreamer：面向实际驱动的自动驾驶世界模型

    DriveDreamer 是第一个从真实世界驾驶场景中建立的世界模型，通过使用扩散模型和两阶段训练流程，能够准确地生成高质量驾驶视频，并捕捉到真实世界交通场景的结构约束。

    Sep, 2023

  • 神经世界模型与计算机视觉

    该研究提出了一种基于计算机视觉概念，使用深度神经网络从摄像头观测和专业演示数据中训练世界模型和政策的通用框架，该模型可以预测鸟瞰图空间中动态汽车的未来轨迹，并在城市驾驶环境中联合预测静态场景、动态场景和特定行为。

    Jun, 2023

  • 基于视觉引导的预测 —— 多时序预测的视觉上下文

    本研究针对自动驾驶中的多视角预测车辆状态的问题，提出了一种多视角与历史轨迹相融合的预测框架，并通过使用 3D 卷积从视频中提取视觉特征以及通过 1D 卷积从车速和转向角度轨迹数据中提取特征，实现了在实际数据集上的车辆状态预测任务中的优越表现。

    Jul, 2021

  • 自主驾驶中基于世界模型的异常检测潜能探索

    自动驾驶中的异常检测研究综述，重点介绍了如何利用世界模型及相关组件实现预测建模、稀疏奖励和复杂控制任务的突出结果。

    Aug, 2023

  • CarDreamer：基于世界模型的自主驾驶开源学习平台

    为了在错综复杂的实际情景中安全驾驶，自主车辆需要能够适应各种道路条件并预测未来事件。为了弥补这个空白，我们介绍了 CarDreamer，这是第一个专门用于开发基于世界模型的自主驾驶算法的开源学习平台。它包括三个关键组成部分：1）世界模型骨干：CarDreamer 集成了一些最先进的世界模型，简化了 RL 算法的复现过程。2）内置任务：CarDreamer 提供一套全面可配置的驾驶任务，与 Gym 接口兼容，并配备了经验证的优化奖励函数。3）任务开发套件：该套件简化了驾驶任务的创建过程，可以轻松定义交通流量和车辆路线，并自动收集多模态观测数据。可视化服务器允许用户通过浏览器实时追踪代理驾驶视频和性能指标。我们还使用内置任务进行广泛的实验证明了 WM 在自主驾驶中的性能和潜力，并通过 CarDreamer 的丰富性和灵活性系统地研究了观测模态、可观测性和车辆意图共享对 AV 安全性和效率的影响。所有代码和文档都可以在该 URL 中访问。

    May, 2024

  • 探究多模态 LLMs 作为驾驶世界模型

    我们评估了多模态大型语言模型（MLLMs）在自动驾驶领域的应用，并挑战和验证了一些常见假设，重点关注它们在封闭环控制环境下通过图像 / 帧序列来推理和解释动态行驶情景的能力。我们的研究揭示了这些模型在预测复杂、动态的驾驶环境中存在的不足，对于描绘动态行为的帧之间能否综合连贯的叙述或逻辑序列存在很大困难。我们通过使用专门设计的模拟器 DriveSim 生成多样化的驾驶情景，进行了一项全面的实验研究来评估各种 MLLMs 作为驾驶世界模型的能力，并为评估驾驶中的 MLLMs 贡献了全面的开源代码和一个新数据集 “Eval-LLM-Drive”。我们的研究结果突出了当前领先的 MLLMs 在真实动态环境中应用能力上的重要差距，强调了需要改进基础模型以提高其在真实世界动态环境中的适用性。

    May, 2024