本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

Apr, 2021

基于 4D 世界体积的多摄像头行车场景生成器（WoVoGen）结合额外的显式世界体积，能够生成高质量的街景视频，并便于场景编辑任务。

Dec, 2023

自主驾驶中，通过预测未来事件并评估可预见的风险，使自动驾驶汽车能够更好地规划动作，提高道路安全和效率。我们提出了 Drive-WM，这是第一个与现有端到端规划模型兼容的驾驶世界模型。通过视图因式分解实现的联合时空建模，我们的模型在驾驶场景中生成具有高保真度的多视图视频。基于其强大的生成能力，我们首次展示了将世界模型应用于安全驾驶规划的潜力。特别是，我们的 Drive-WM 能够根据不同的驾驶操纵方式驾驶到多个未来，并根据基于图像的奖励确定最佳轨迹。对真实驾驶数据集的评估验证了我们的方法能够生成高质量、一致性和可控性的多视图视频，为真实世界模拟和安全规划开辟了新的可能性。

Nov, 2023

该研究提出了一种基于计算机视觉概念，使用深度神经网络从摄像头观测和专业演示数据中训练世界模型和政策的通用框架，该模型可以预测鸟瞰图空间中动态汽车的未来轨迹，并在城市驾驶环境中联合预测静态场景、动态场景和特定行为。

Jun, 2023

提出一种基于 Transformer 的模态不变的 Visual Odometry 方法，可以应对不同或变化的导航代理的传感器套件，该模型在仅使用部分数据进行训练时，优于先前的方法。

Apr, 2023

该研究论文利用 Alberto Elfes 在 1989 年的先驱性工作中引入了占据栅格的概念，并为机器人赋予了一种空间 - 时间世界模型（UniWorld），从而感知其环境并预测其他参与者的未来行为。UniWorld 能够估计世界状态中缺失的信息，并预测世界的合理未来状态，该统一预训练框架在运动预测、多相机三维物体检测和周围场景语义完成等关键任务中展现了有希望的结果，对于实现真实世界的自动驾驶具有重要实用价值。

Aug, 2023

通过将传感器观测结果进行标记化并使用离散扩散方法预测未来情况，我们提出了一种新的世界建模方法，可以显著改进学习点云观测的世界模型，并在自动驾驶等机器人应用中实现了超过 65％的 Chamfer 距离缩减（1s 预测）和超过 50％的 Chamfer 距离缩减（3s 预测）。结果表明，对标记化的机器人经验进行离散扩散可以启用类似 GPT 的无监督学习方法，以提高机器人代理的性能。

Nov, 2023

该论文提出了一种利用几何结构作为自我监督信号的无监督深度视觉里程计学习范例，并表明这种方法与监督学习方法在性能上的竞争力相当。

Apr, 2018

我们提出了一种半监督学习方法 XVO，用于训练具有鲁棒自适应性的广义单目视觉里程计模型，适用于不同的数据集和设置。

Sep, 2023

本文介绍了一种多模态自动标注流程，可以生成用于训练开放式类别的无标注 3D 边界框和轨迹，从而处理自动驾驶等安全关键应用中可能在部署后遇到的新物体类型。相比于当前领域的最新研究，我们的方法可以以无监督的方式处理静态和移动的对象，并通过提出的视觉 - 语言知识蒸馏方法输出开放式词汇的语义标签。基于 Waymo 开放数据集的实验证明，我们的方法在各种无监督 3D 感知任务上显著优于先前的工作。

Sep, 2023