DriveDreamer-2 是第一个使用大型语言模型生成定制驾驶视频的世界模型，它可以以用户友好的方式生成不常见的驾驶视频，并通过生成的视频提高驾驶感知方法的训练效果，视频生成质量超过其他最先进的方法，相对改进幅度达 30% 和 50%。

Mar, 2024

为了在错综复杂的实际情景中安全驾驶，自主车辆需要能够适应各种道路条件并预测未来事件。为了弥补这个空白，我们介绍了 CarDreamer，这是第一个专门用于开发基于世界模型的自主驾驶算法的开源学习平台。它包括三个关键组成部分：1）世界模型骨干：CarDreamer 集成了一些最先进的世界模型，简化了 RL 算法的复现过程。2）内置任务：CarDreamer 提供一套全面可配置的驾驶任务，与 Gym 接口兼容，并配备了经验证的优化奖励函数。3）任务开发套件：该套件简化了驾驶任务的创建过程，可以轻松定义交通流量和车辆路线，并自动收集多模态观测数据。可视化服务器允许用户通过浏览器实时追踪代理驾驶视频和性能指标。我们还使用内置任务进行广泛的实验证明了 WM 在自主驾驶中的性能和潜力，并通过 CarDreamer 的丰富性和灵活性系统地研究了观测模态、可观测性和车辆意图共享对 AV 安全性和效率的影响。所有代码和文档都可以在该 URL 中访问。

May, 2024

WorldDreamer 是一个创新的全球模型，通过将视觉输入映射为离散标记并预测掩码标记，将世界建模作为无监督的视觉序列建模挑战，实现对一般世界物理和运动的全面理解，并在视频生成方面具有卓越的性能。

Jan, 2024

本文介绍了 Dreamer 算法在物理机器人上应用的实验，证明了该算法能够使得机器人在真实世界中进行快速学习和适应，同时建立了实际环境下世界模型应用于机器人学习的强基线。

Jun, 2022

通过 DriveWorld 框架，从多摄像头自驾车视频中进行时空预训练，有效提高了各种自主驾驶任务的性能。

May, 2024

自主驾驶中，通过预测未来事件并评估可预见的风险，使自动驾驶汽车能够更好地规划动作，提高道路安全和效率。我们提出了 Drive-WM，这是第一个与现有端到端规划模型兼容的驾驶世界模型。通过视图因式分解实现的联合时空建模，我们的模型在驾驶场景中生成具有高保真度的多视图视频。基于其强大的生成能力，我们首次展示了将世界模型应用于安全驾驶规划的潜力。特别是，我们的 Drive-WM 能够根据不同的驾驶操纵方式驾驶到多个未来，并根据基于图像的奖励确定最佳轨迹。对真实驾驶数据集的评估验证了我们的方法能够生成高质量、一致性和可控性的多视图视频，为真实世界模拟和安全规划开辟了新的可能性。

Nov, 2023

在自动驾驶领域中，世界模型的能力是重要的，既可以确保安全性和效率性，还能关键性地帮助决策过程，通过合成和解释大量的传感器数据，从而预测潜在的未来情景并弥补信息缺失。本文回顾了自动驾驶领域中当前状态和世界模型的前景发展，包括其理论基础、实际应用以及正在进行的研究努力以克服现有的限制。突出世界模型在推进自动驾驶技术中的重要作用，本综述旨在为研究社区提供基础参考，便于快速获得对这一新兴领域的理解，并激发持续的创新和探索。

Mar, 2024

自主驾驶车辆的轨迹预测是一个关键问题，本文引入基于向量化世界模型的 VRD 方法，通过结合传统训练和新型训练流程，实现了多智能体运动预测的优异性能。

Jun, 2024

Pathdreamer 是一种可视化世界模型，用于不擅长室内导航的计算机代理的高效导航。它可以生成大量高分辨率的可视化内容，通过使用在先前视觉观察中获取的知识，用于新颖的室内环境中。并且 Pathdreamer 在高度不确定的区域可以预测多样的情况，通过可靠的决策加快代理人的速度。

May, 2021

该研究提出了一种基于计算机视觉概念，使用深度神经网络从摄像头观测和专业演示数据中训练世界模型和政策的通用框架，该模型可以预测鸟瞰图空间中动态汽车的未来轨迹，并在城市驾驶环境中联合预测静态场景、动态场景和特定行为。

Jun, 2023