Nov, 2023

通过离散扩散学习自主驾驶的无监督世界模型

PDF
TL;DR通过将传感器观测结果进行标记化并使用离散扩散方法预测未来情况，我们提出了一种新的世界建模方法，可以显著改进学习点云观测的世界模型，并在自动驾驶等机器人应用中实现了超过 65％的 Chamfer 距离缩减（1s 预测）和超过 50％的 Chamfer 距离缩减（3s 预测）。结果表明，对标记化的机器人经验进行离散扩散可以启用类似 GPT 的无监督学习方法，以提高机器人代理的性能。
world modelsunsupervised learningautonomous drivinggenerative pre-trained transformersdiscrete diffusion
发现论文，激发创造
  • 世界建模的扩散：Atari 中的视觉细节至关重要

    DIAMOND 是一种在扩散世界模型中训练的强化学习代理，通过改进视觉细节来提高代理性能，取得了在 Atari 100k 基准测试上的新最佳表现。

    May, 2024

  • 自主驾驶中基于世界模型的异常检测潜能探索

    自动驾驶中的异常检测研究综述，重点介绍了如何利用世界模型及相关组件实现预测建模、稀疏奖励和复杂控制任务的突出结果。

    Aug, 2023

  • UniWorld：基于世界模型的自主驾驶预训练

    该研究论文利用 Alberto Elfes 在 1989 年的先驱性工作中引入了占据栅格的概念，并为机器人赋予了一种空间 - 时间世界模型（UniWorld），从而感知其环境并预测其他参与者的未来行为。UniWorld 能够估计世界状态中缺失的信息，并预测世界的合理未来状态，该统一预训练框架在运动预测、多相机三维物体检测和周围场景语义完成等关键任务中展现了有希望的结果，对于实现真实世界的自动驾驶具有重要实用价值。

    Aug, 2023

  • 通过策略引导的轨迹扩散实现的世界模型

    我们提出了一种新的世界建模方法 PolyGRAD，它利用扩散模型和策略的动作分布梯度，通过一次传递生成整个在政策上的合成轨迹，该方法在竞争力预测错误率方面与最先进的自回归基线相当，并且使得能在 “虚拟中” 进行政策优化的性能表现良好。

    Dec, 2023

  • WcDT: 世界中心扩散变压器用于交通场景生成

    我们介绍了一种新颖的自动驾驶轨迹生成方法，通过利用扩散概率模型（即扩散模型）和变形器的互补优势。我们提出的框架称为 “世界中心扩散变形器”（WcDT），它从特征提取到模型推断优化了整个轨迹生成过程。广泛的实验结果表明，该方法在生成逼真且多样化的轨迹方面表现出卓越性能，显示了它集成到自动驾驶模拟系统的潜力。

    Apr, 2024

  • DriveWorld：4D 预训练场景理解通过 World 模型用于自动驾驶

    通过 DriveWorld 框架，从多摄像头自驾车视频中进行时空预训练，有效提高了各种自主驾驶任务的性能。

    May, 2024

  • 利用离散吸收扩散实现并行令牌预测：从向量量化编码中快速生成高分辨率图像的 Transformer 解放

    本文提出了一种新的离散扩散概率模型优先级，通过使用无约束的 Transformer 架构作为骨干结构实现了向量量化标记的并行预测，从而促进了图像生成的全局一致性和多样性。

    Nov, 2021

  • 基于随机演示的学习：使用重要性采样扩散模型的离线强化学习

    我们提出了一种新的离线强化学习方法，利用引导扩散世界模型来直接评估离线目标策略，并进行一种重要性抽样的世界模型更新来使其与更新后的策略适应。在 D4RL 环境中的评估结果显示，在只有随机或中等专家示范的情况下，我们的方法相较于现有基线表现显著改进，从而需要改进世界模型与离线策略评估之间的对齐。

    May, 2024

  • 轨迹英语：学习驾驶场景的语言

    通过离散序列建模方法，我们研究了自动驾驶开发中模拟基于记录驾驶日志的动态驾驶场景的挑战。使用简单的数据驱动分词方案，将轨迹离散化到厘米级分辨率，并采用类似 GPT 模型的编码器 - 解码器来建模车辆、行人和骑车人在驾驶场景中的互动。通过在模型中抽样场景，我们展示了该模型具有最先进的真实性，且在 Waymo Sim Agents Benchmark 上超越先前的工作，其中真实性值成功提高了 3.3%，与其他模型相比，互动度提高了 9.9%。我们还在完全自动驾驶和部分自动驾驶环境中分析了我们的建模选择，并展示了我们的模型学到的表示可以快速适用于改进 nuScenes 的性能。此外，我们还对模型的参数数量和数据集规模进行了可扩展性评估，并利用模型得出的密度估计量化了上下文长度和时间间隔内交互对于交通建模任务的重要性。

    Dec, 2023

  • 自主驾驶的三维占据世界模型学习

    理解 3D 场景的演变对于自动驾驶决策至关重要。本文通过在 3D 占据空间中学习 OccWorld 世界模型，同时预测自车运动和周围场景的演变，提出了一种新的框架。实验证明了 OccWorld 在无需使用实例和地图监督的情况下具有有效建模驾驶场景演变的能力。

    Nov, 2023