利用扩散生成驾驶场景
自动驾驶车辆的安全验证方面,合成交通场景的自动创建是关键部分。本文提出了一种新颖的基于扩散的场景生成架构 ——Scenario Diffusion,可实现可控的场景生成。我们结合了潜在扩散、目标检测和轨迹回归,同时生成合成代理人的姿势、方向和轨迹的分布。为了对生成的场景进行额外控制,此分布以描述所需场景的地图和令牌组为条件。我们证明我们的方法具有足够的表达能力,能够建模多样的交通模式,并且适用于不同的地理区域。
Nov, 2023
提出了一种 CTG++ 基于学习的交通流模型,它可以通过语言指令进行指导,从而解决了交通模型控制需要领域专业知识,对实践者使用困难等问题,通过经过广泛的评估,我们展示了该方法在生成实际且符合查询要求的交通仿真方面的有效性。
Jun, 2023
SceneDiffuser 是一个用于 3D 场景理解的条件生成模型,通过扩散过程,联合制定了场景感知生成、基于物理的优化和面向目标的规划模块,相对于之前的模型,具有内在的场景感知、基于物理的设计器和面向目标的设计等优点,在人体姿态和运动生成、灵巧握持生成、三维导航路径规划和机器人臂运动规划等任务上表现了极大的潜力。
Jan, 2023
通过混合模拟器和现实世界的数据,SimGen 模型能够学习生成具有多样性的驾驶场景,通过新颖的级联扩散管道解决了模拟到真实世界之间的差距和多条件冲突,并在保持可控性的基础上,获得卓越的生成质量和多样性。
Jun, 2024
基于扩散模型的新框架 SceneDM 旨在生成场景中各类代理(车辆、自行车、行人等)的联合一致未来行动,并通过基于 Transformer 的网络处理代理之间的相互作用,设计了简单而有效的一致扩散方法以提高模型性能,并附加了场景级评分函数来评估生成代理行动的安全性和道路遵守性,帮助过滤出不切实际的模拟。该框架在 Waymo Sim Agents Benchmark 上取得了最先进的结果。
Nov, 2023
评估自动驾驶车辆规划算法的性能需要模拟长尾交通场景。通过引入基于引导扩散模型的闭环模拟框架,我们提出一种新的方法来生成现实世界情景的安全关键场景,并通过增强的可控性使评估更全面和互动性更强。通过相关的引导目标,我们改善了道路进展,同时降低了碰撞和离道率,从而实现了这一目标。通过去噪过程中的对抗项,我们开发了一种模拟安全关键场景的新方法,使对抗性代理能够通过可行的操纵手段挑战规划器,同时场景中的所有代理均表现出反应灵敏和逼真的行为。我们通过使用 NuScenes 数据集的实证验证了我们的框架,证明了在现实性和可控性方面的改进。这些发现肯定了引导扩散模型为安全关键、互动式交通模拟提供了强大而通用的基础,进一步扩展了其在自动驾驶领域的实用性。请访问我们的项目页面(https URL)获取更多资源和演示。
Dec, 2023
利用扩散模型与神经渲染技术,提出了一种新颖的直接生成三维场景的方法,该方法能够从卫星图像中生成逼真的街景图像序列和跨视角城市场景。
Jan, 2024