通过 DriveWorld 框架，从多摄像头自驾车视频中进行时空预训练，有效提高了各种自主驾驶任务的性能。

May, 2024

理解 3D 场景的演变对于自动驾驶决策至关重要。本文通过在 3D 占据空间中学习 OccWorld 世界模型，同时预测自车运动和周围场景的演变，提出了一种新的框架。实验证明了 OccWorld 在无需使用实例和地图监督的情况下具有有效建模驾驶场景演变的能力。

Nov, 2023

该研究提出了一种基于计算机视觉概念，使用深度神经网络从摄像头观测和专业演示数据中训练世界模型和政策的通用框架，该模型可以预测鸟瞰图空间中动态汽车的未来轨迹，并在城市驾驶环境中联合预测静态场景、动态场景和特定行为。

Jun, 2023

在自动驾驶领域，有效特征学习的重要性被广泛认可。本文介绍了 UniPAD，一种应用 3D 体积可微分渲染的新型自监督学习范式。UniPAD 隐含地编码了 3D 空间，便于连续 3D 形状结构的重建和其 2D 投影的复杂外观特征。我们的方法的灵活性使其可以无缝集成到 2D 和 3D 框架中，实现对场景的更全面理解。我们通过在各种下游 3D 任务上进行广泛的实验，证明了 UniPAD 的可行性和有效性。我们的方法分别在激光雷达、摄像头和激光雷达 - 摄像头基线上提升了 9.1、7.7 和 6.9 NDS。值得注意的是，我们的预训练流程在 nuScenes 验证集上实现了 73.2 NDS 的 3D 物体检测和 79.4 mIoU 的 3D 语义分割，与以前的方法相比取得了最先进的结果。代码将在此 https URL 上提供。

Oct, 2023

在自动驾驶领域中，世界模型的能力是重要的，既可以确保安全性和效率性，还能关键性地帮助决策过程，通过合成和解释大量的传感器数据，从而预测潜在的未来情景并弥补信息缺失。本文回顾了自动驾驶领域中当前状态和世界模型的前景发展，包括其理论基础、实际应用以及正在进行的研究努力以克服现有的限制。突出世界模型在推进自动驾驶技术中的重要作用，本综述旨在为研究社区提供基础参考，便于快速获得对这一新兴领域的理解，并激发持续的创新和探索。

Mar, 2024

提出了基础世界模型，通过将观察结果转化为有意义且因果潜在的表示，使代理动力学可以直接预测因果未来状态，并且在安全预测任务中表现优于标准世界模型，与监督学习相比具有可比拟的性能，而且不需要使用任何数据。

Mar, 2024

我们提出了一种使用自监督从 LiDAR 数据学习连续的 4D（时空）占据场的无监督世界模型，该模型可以轻松有效地迁移到下游任务，并在点云预测和 BEV 语义占据预测方面取得了最先进的性能，特别是在标注数据稀缺时。此外，在与先前的时空几何占据预测的最新技术进行比较时，我们的 4D 世界模型对于与自动驾驶相关的类别的对象的召回率要高得多。

Jun, 2024

通过将传感器观测结果进行标记化并使用离散扩散方法预测未来情况，我们提出了一种新的世界建模方法，可以显著改进学习点云观测的世界模型，并在自动驾驶等机器人应用中实现了超过 65％的 Chamfer 距离缩减（1s 预测）和超过 50％的 Chamfer 距离缩减（3s 预测）。结果表明，对标记化的机器人经验进行离散扩散可以启用类似 GPT 的无监督学习方法，以提高机器人代理的性能。

Nov, 2023

UniVision 是一个简单高效的框架，统一了视觉导向的自动驾驶中的三维感知任务，包括占有率预测和物体检测，并在各项公开基准测试中取得了领先的结果。

Jan, 2024

自动驾驶中的异常检测研究综述，重点介绍了如何利用世界模型及相关组件实现预测建模、稀疏奖励和复杂控制任务的突出结果。

Aug, 2023