异步机器学习增强规划器用于自动驾驶
通过结合传统规则基于的规划器与基于大型语言模型的规划器,利用 LLMs 的常识推理能力解决自动驾驶车辆面临的复杂场景,实现了最先进的性能,超越了所有现有的纯学习和基于规则的方法。
Dec, 2023
异步计划推理对于优化时间成本需要进行顺序和并行规划,这是具有挑战性的。本研究首次对大型语言模型(LLMs)在此任务上的成功进行了大规模研究。我们发现,代表性的闭源和开源 LLMs,包括 GPT-4 和 LLaMA-2,在缺乏关于任务解决过程的说明时表现不佳。我们提出了一种新颖技术,称为 Plan Like a Graph (PLaG),它将图形与自然语言提示相结合,取得了最先进的结果。我们表明,尽管 PLaG 可以提升模型性能,但在任务复杂性增加时,LLMs 仍然会遭受严重退化,凸显了利用 LLMs 模拟数字设备的局限性。我们认为这项研究是将 LLMs 用作高效自治代理的一个令人兴奋的步骤。
Feb, 2024
我们的研究引入了一个新的安全框架,利用多智能体大语言模型(LLMs)来保护自动驾驶车辆的敏感信息,同时确保 LLM 的输出符合驾驶规定和符合人类价值观。我们使用该框架评估了 11 个大语言模型驱动的自动驾驶提示的安全性、隐私性和成本方面,并对这些驾驶提示进行了问答测试,成功地证明了该框架的有效性。
Jun, 2024
通过利用大型语言模型(LLMs)的语言和推理能力,本研究提出了一个新的框架来增强自动驾驶车辆决策过程。通过在不同场景中进行试验和实时个性化示范,我们展示了利用 LLMs 能够改善驾驶决策、提供个性化驾驶体验并增强自动驾驶的安全和效果。
Oct, 2023
在自动驾驶中,复杂场景下的动作规划是核心挑战。本文提出了一种将大型语言模型 (LLMs) 转化为具有明确指令调整能力的运动规划器的 InstructDriver 方法,以对齐其行为与人类相符。通过基于人类逻辑与交通规则来生成驾驶指令数据,并采用可解释的 InstructChain 模块进行最终规划推理,实现了注入人类规则与学习驾驶数据的目标,使其具备可解释性与数据可扩展性。与现有的在封闭环或模拟设置中进行实验的方法不同,我们采用真实世界的封闭环动作规划 nuPlan 基准进行更好的评估。InstructDriver 在真实世界的封闭环设置中展示了 LLM 规划器的有效性。我们的代码在此链接公开可获得。
Jun, 2024
基于大型语言模型的自动驾驶框架 DriveMLM 并行闭环驾驶,在真实模拟器中进行,通过标准化决策状态与车辆控制命令之间的连接、使用多模态语言模型模拟行为规划模块以及设计有效的数据引擎进行数据集收集,该研究基于 CARLA Town05 Long 实验表明模型的驾驶得分达到 76.1,超过 Apollo 基准 4.7 分,验证了模型的有效性。
Dec, 2023
本文介绍了 LMDrive,一种语言引导的、端到端的、闭环自动驾驶框架,它独特地处理和整合多模态传感器数据和自然语言指令,实现了与人类和导航软件在真实教学环境中的交互。为了促进基于语言的闭环自动驾驶的进一步研究,我们还公开发布了包含约 64K 个指令跟踪数据片段的数据集,以及测试系统处理复杂指令和具有挑战性驾驶场景的 LangAuto 基准。进行了广泛的闭环实验以证明 LMDrive 的有效性。据我们所知,我们是首个利用 LGM 进行闭环端到端自动驾驶的工作。相关代码可在此网址找到:https://
Dec, 2023
本文提出了 AdaPlanner,一种基于闭环反馈的语言模型智能体自适应地改进生成的计划,并通过新的技能发现机制,使其能够在更复杂的任务和环境中实现更好的连续决策性能,实验结果表明 AdaPlanner 在 ALFWorld 和 MiniWoB++ 环境中优于现有的基线算法。
May, 2023
利用大型语言模型作为决策组件,通过认知路径和行为翻译算法实现在复杂的自治驾驶场景中对人类常识的综合推理,将大型语言模型的决策与低级控制器无缝集成,通过参数矩阵适应实现行为指令的执行,在单一和多车辆任务中均优于基准方法,具备常识推理能力,进一步推进复杂自动驾驶场景中的安全性、高效性、泛化性和互操作性。
Oct, 2023
通过大型语言模型开发一种名为 AgentsCoDriver 的框架,实现多车辆协同驾驶,解决了当前的自主驾驶系统在解释性、泛化性、持续学习以及与其他车辆的协商与合作方面的不足。
Apr, 2024