ADriver-I: 无人驾驶的通用世界模型

Nov, 2023

ADriver-I: 无人驾驶的通用世界模型

ADriver-I: A General World Model for Autonomous Driving

Fan Jia, Weixin Mao, Yingfei Liu, Yucheng Zhao, Yuqing Wen...

TL;DR基于多模态大语言模型和扩散技术，我们提出了一种自主驾驶世界模型 ADriver-I，该模型以交织的视觉 - 动作对为基础，能够预测当前帧的控制信号，并使用历史的视觉 - 动作对和生成的控制信号来预测未来的帧，通过无限反馈循环，ADriver-I 实现了自主驾驶。我们通过在 nuScenes 和大规模私有数据集上进行广泛实验，证明了 ADriver-I 在性能上的卓越表现，希望该模型能为未来自主驾驶和具身智能提供新的洞见。

Abstract

Typically, autonomous driving adopts a modular design, which divides the full stack into perception, prediction, planning and control parts. Though interpretable, such modular design tends to introduce a substantial amount of redundancy. Recently, →

autonomous driving world model vision-action pair multimodal large language models diffusion techniques

发现论文，激发创造

AD-H：具有分层代理的自主驾驶

通过使用多模态大型语言模型（MLLMs）实现自动驾驶，连接高级指令和低级控制信号，形成多层次驱动系统 AD-H 提供了优秀的驾驶性能和普适性，充分发挥了 MLLM 在感知、推理和规划方面的潜力。

Jun, 2024

自动驾驶的语言代理

我们提出了一种从普通流程转变的方法，即通过引入大型语言模型作为认知代理，将人类智能融入自动驾驶系统，实现更加人性化的自动驾驶。我们的方法通过函数调用访问一个多功能工具库、具有常识和经验知识的认知记忆以进行决策制定，并且具备由思维推理、任务规划、动作规划和自我反思构成的推理引擎。在大规模 nuScenes 基准测试中，我们的 Agent-Driver 显著优于现有的自动驾驶方法，并且还表现出较强的可解释性和少样本学习能力。

Nov, 2023

多模态端到端自主驾驶

本文提出并分析了终端到终端驾驶中，结合 RGB 和深度信息数据的多模态方案，以期提高自动驾驶 AI 模型的性能。通过模拟和条件模仿学习，证明了采用早期融合多模态方案，可以超越采用单模态的性能表现。

Jun, 2019

自主驾驶的广义预测模型

本文介绍了自动驾驶学科中第一个大规模视频预测模型。通过从网络获取大量数据并与多样且高质量的文本描述配对，我们消除了高成本数据收集的限制并增强了模型的泛化能力。该数据集积累了超过 2000 小时的行驶视频，涵盖了全球各地不同的气候条件和交通场景。我们的模型名为 GenAD，并继承了最近潜变扩散模型的优点，利用新颖的时间推理块处理行驶场景中具有挑战性的动态。我们展示了它可以以零 - shot 方式泛化到各种未见过的行驶数据集，超过了一般或专门针对行车的视频预测模型。此外，GenAD 可以适应动作条件化预测模型或运动规划器，具有在实际行驶应用中巨大潜力。

Mar, 2024

自动驾驶的大型语言模型调查

自动驾驶技术是改变交通运输和城市流动性的催化剂，从基于规则的系统过渡到基于数据驱动的策略。该研究论文系统地回顾了大型语言模型在自动驾驶领域的应用，并评估了当前技术进展、主要挑战和未来方向。

Nov, 2023

AgentsCoDriver：大型语言模型赋能的协作驾驶与终身学习

通过大型语言模型开发一种名为 AgentsCoDriver 的框架，实现多车辆协同驾驶，解决了当前的自主驾驶系统在解释性、泛化性、持续学习以及与其他车辆的协商与合作方面的不足。

Apr, 2024

GAD - 基于生成学习的高清地图无驾驶

提出一种基于深度学习的方法，将预测、决策和规划模块融合起来，以克服自动驾驶系统中基于规则的方法在真实世界应用中的不足，特别是在城市场景中。所提出的 DNN 模型仅经过 10 小时的人工驾驶数据训练，并且支持市场上所有的批量生产 ADAS 功能。在此论文中，展示了该方法在不对车辆的传感器设置和计算平台进行任何修改的情况下，通过部署到集约的测试车辆上，展示了其可行性、可用性和商业潜力。

May, 2024

一种车辆跟随的主动推断模型：优势和应用

该研究提出了使用主动推理的一种新型车辆跟随建模方法，该方法具有与数据驱动的模型相当的行为灵活性，同时保持可解释性。通过基准分析，该模型被证明可以显着地预测驾驶控制，并表明需要进一步研究以建立行驶风格并利用更多样化的数据集进行模型训练。

Mar, 2023

DriveMLM: 使用行为规划状态来对齐多模态大型语言模型和自动驾驶

基于大型语言模型的自动驾驶框架 DriveMLM 并行闭环驾驶，在真实模拟器中进行，通过标准化决策状态与车辆控制命令之间的连接、使用多模态语言模型模拟行为规划模块以及设计有效的数据引擎进行数据集收集，该研究基于 CARLA Town05 Long 实验表明模型的驾驶得分达到 76.1，超过 Apollo 基准 4.7 分，验证了模型的有效性。

Dec, 2023

超级自动驾驶 AI：面向端到端学习的设计和实现

本研究提出基于深度神经网络的端到端学习自动驾驶系统 SuperDriver AI，该系统学习来自经验丰富的人类驾驶员的驾驶行为和政策，采取驾驶操作并确保路面安全。实验结果表明，该系统在真实行驶场景下运行良好。

May, 2023