在自动驾驶领域中，世界模型的能力是重要的，既可以确保安全性和效率性，还能关键性地帮助决策过程，通过合成和解释大量的传感器数据，从而预测潜在的未来情景并弥补信息缺失。本文回顾了自动驾驶领域中当前状态和世界模型的前景发展，包括其理论基础、实际应用以及正在进行的研究努力以克服现有的限制。突出世界模型在推进自动驾驶技术中的重要作用，本综述旨在为研究社区提供基础参考，便于快速获得对这一新兴领域的理解，并激发持续的创新和探索。

Mar, 2024

提出了基础世界模型，通过将观察结果转化为有意义且因果潜在的表示，使代理动力学可以直接预测因果未来状态，并且在安全预测任务中表现优于标准世界模型，与监督学习相比具有可比拟的性能，而且不需要使用任何数据。

Mar, 2024

我们提出了一种自我监督的方法，通过潜在世界模型来预测未来的潜在特征，从而提高无需昂贵标签的端到端驾驶性能。

Jun, 2024

该研究提出了一种基于计算机视觉概念，使用深度神经网络从摄像头观测和专业演示数据中训练世界模型和政策的通用框架，该模型可以预测鸟瞰图空间中动态汽车的未来轨迹，并在城市驾驶环境中联合预测静态场景、动态场景和特定行为。

Jun, 2023

通过将传感器观测结果进行标记化并使用离散扩散方法预测未来情况，我们提出了一种新的世界建模方法，可以显著改进学习点云观测的世界模型，并在自动驾驶等机器人应用中实现了超过 65％的 Chamfer 距离缩减（1s 预测）和超过 50％的 Chamfer 距离缩减（3s 预测）。结果表明，对标记化的机器人经验进行离散扩散可以启用类似 GPT 的无监督学习方法，以提高机器人代理的性能。

Nov, 2023

自主驾驶中，通过预测未来事件并评估可预见的风险，使自动驾驶汽车能够更好地规划动作，提高道路安全和效率。我们提出了 Drive-WM，这是第一个与现有端到端规划模型兼容的驾驶世界模型。通过视图因式分解实现的联合时空建模，我们的模型在驾驶场景中生成具有高保真度的多视图视频。基于其强大的生成能力，我们首次展示了将世界模型应用于安全驾驶规划的潜力。特别是，我们的 Drive-WM 能够根据不同的驾驶操纵方式驾驶到多个未来，并根据基于图像的奖励确定最佳轨迹。对真实驾驶数据集的评估验证了我们的方法能够生成高质量、一致性和可控性的多视图视频，为真实世界模拟和安全规划开辟了新的可能性。

Nov, 2023

我们研究了在自动驾驶背景下使用异常检测模块训练图像语义分割模型的不同策略，通过对最先进的 DenseHybrid 模型的训练阶段进行修改，我们实现了显著的异常检测性能提升。此外，我们提出的简化检测器不仅实现了与改进的 DenseHybrid 方法相当的结果，而且超过了原始 DenseHybrid 模型的性能。这些发现证明了我们提出的策略在自动驾驶背景下提升异常检测的有效性。

Aug, 2023

通过 DriveWorld 框架，从多摄像头自驾车视频中进行时空预训练，有效提高了各种自主驾驶任务的性能。

May, 2024

该研究论文利用 Alberto Elfes 在 1989 年的先驱性工作中引入了占据栅格的概念，并为机器人赋予了一种空间 - 时间世界模型（UniWorld），从而感知其环境并预测其他参与者的未来行为。UniWorld 能够估计世界状态中缺失的信息，并预测世界的合理未来状态，该统一预训练框架在运动预测、多相机三维物体检测和周围场景语义完成等关键任务中展现了有希望的结果，对于实现真实世界的自动驾驶具有重要实用价值。

Aug, 2023

这篇系统综述主要研究与连接和自动驾驶车辆相关的异常检测。研究发现，神经网络（如 LSTM，CNN 和自编码器）以及单类支持向量机是最常用的人工智能算法。大多数异常检测模型使用真实世界的车辆数据进行训练，但常常人为地向数据集中注入攻击和故障等异常情况。这些模型主要通过召回率、准确率、精确率、F1 分数和误报率等五个主要评估指标进行评估。此外，文章提出了几项建议，包括综合使用多个评估指标、公开分享模型以促进研究社区的合作和验证，并需要建立具有预定义异常或网络攻击的基准数据集来测试和改进提出的基于异常的检测模型的有效性。此外，对使用不同于 CAN 协议（如以太网和 FlexRay）的入侵检测系统的研究还缺乏。

May, 2024