Feb, 2024

通过协作 LLM-Agent 实现自动驾驶中的可编辑场景模拟

PDF
TL;DRChatSim 是第一个通过自然语言指令和外部数字资产实现可编辑的照片级 3D 驾驶场景模拟的系统，它利用大型语言模型 (LLM) 代理协作框架实现了高命令灵活性的编辑，并采用了新颖的多摄像机神经辐射场方法以实现逼真的结果，还借助了新颖的多摄像机光照估计方法以实现场景一致的资产渲染，实验证明 ChatSim 能处理复杂的语言指令并生成相应的逼真场景视频。
发现论文，激发创造
  • ChatScene：用于自动驾驶车辆的基于知识的安全关键场景生成

    ChatScene 使用大型语言模型通过文本指令生成安全关键场景，将其转化为特定代码以实现车辆预测和控制，并验证了其在提高自动驾驶车辆安全性方面的有效性。

    May, 2024

  • LightSim：城市场景的神经光照模拟

    研究提出了一个名为 LightSim 的神经照明相机模拟系统，用于在不同照明条件下产生多样化、逼真且可控的数据生成，实验结果显示 LightSim 产生的实际光照效果比以往工作更逼真，并且基于 LightSim 生成的数据可以显著提高感知模型的性能。

    Dec, 2023

  • 基于语言指导的场景级扩散交通模拟

    提出了一种 CTG++ 基于学习的交通流模型，它可以通过语言指令进行指导，从而解决了交通模型控制需要领域专业知识，对实践者使用困难等问题，通过经过广泛的评估，我们展示了该方法在生成实际且符合查询要求的交通仿真方面的有效性。

    Jun, 2023

  • 基于大语言模型的对话式生成自动驾驶仿真场景

    本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。

    Oct, 2023

  • 用自然语言驱动的仿真基准和副驾驶助手，在虚拟路景中高效生成物体交互

    我们提倡自然语言驱动（NLD）模拟来高效地生成虚拟道路场景中多个物体之间的交互，以教学和测试自主驾驶系统。NLD 模拟使用简洁的自然语言描述来控制物体之间的交互，并显著减少了创建大量交互数据的人力成本。为了促进 NLD 模拟的研究，我们收集了包含 12 万个自然语言描述的语言到交互（L2I）基准数据集，描述了 6 种常见道路拓扑中物体之间的交互。每个描述都与编程代码相关联，图形渲染器可以使用该代码在虚拟场景中进行可视化重现。作为一种方法学贡献，我们设计了 SimCopilot 来将交互描述转化为可渲染的代码。我们使用 L2I 数据集评估 SimCopilot 在控制物体运动、生成复杂交互和在不同道路拓扑之间推广交互方面的能力。L2I 数据集和评估结果激发了相关自然语言驱动模拟的研究。

    Dec, 2023

  • 语言条件下的交通生成

    该研究论文介绍了一种名为 LCTGen 的模型，它结合了大型语言模型和基于变压器的解码器架构，利用语言作为动态交通场景生成的监督来源，其在无条件和条件下的交通场景生成方面表现优于之前的研究，并且在现实感和保真度方面更好。

    Jul, 2023

  • GarchingSim：具备逼真场景和简洁工作流程的自动驾驶模拟器

    用于评估自动驾驶算法的仿真器，具有逼真的场景、用户友好的工作流程和高度准确的车辆动力学模型。

    Jan, 2024

  • GeoSim: 基于几何感知合成的自动驾驶真实视频模拟

    本文提出了一种基于 GeoSim 的几何感知图像合成过程，通过从其他场景中提取的动态对象进行图像合成从而合成新的城市驾驶场景，该方法能够生成真实的、交通意识的、几何一致的合成图像，适用于复杂的场景规模，并演示了其在长程实际视频模拟和合成数据增强等领域的有用性。

    Jan, 2021

  • 自主驾驶的大规模神经场景渲染

    本文提出一种大规模神经渲染方法来合成自主驾驶场景 (READ)，通过各种采样方案，可以在 PC 上合成大规模驾驶场景。我们提出一个 ω 渲染网络来表示驾驶场景，该网络从稀疏点云中学习神经描述符。实验表明，我们的模型在大规模驾驶场景中表现良好，并可以缝合和编辑驾驶场景。

    May, 2022

  • 使用数据驱动算法的增强型自主驾驶仿真

    本文提出增强现实自动驾驶模拟 (AADS) 方法来帮助自动驾驶技术的开发和测试，使用 LiDAR 和相机扫描街道场景并生成高度真实的交通流量以用于场景复原，其兼具虚拟环境灵活性和真实世界的真实性，实现了全方位的自动驾驶系统感知到规划的端到端训练和测试。

    Jan, 2019