Jun, 2024

指导大型语言模型像人驾驶

PDF
TL;DR在自动驾驶中，复杂场景下的动作规划是核心挑战。本文提出了一种将大型语言模型 (LLMs) 转化为具有明确指令调整能力的运动规划器的 InstructDriver 方法，以对齐其行为与人类相符。通过基于人类逻辑与交通规则来生成驾驶指令数据，并采用可解释的 InstructChain 模块进行最终规划推理，实现了注入人类规则与学习驾驶数据的目标，使其具备可解释性与数据可扩展性。与现有的在封闭环或模拟设置中进行实验的方法不同，我们采用真实世界的封闭环动作规划 nuPlan 基准进行更好的评估。InstructDriver 在真实世界的封闭环设置中展示了 LLM 规划器的有效性。我们的代码在此链接公开可获得。
发现论文，激发创造
  • 像人类驾驶：用大语言模型重新思考自动驾驶

    本文探讨使用大型语言模型（LLM）作为自动驾驶系统的潜力，认为传统优化和模块化的自动驾驶系统无法应对复杂情况，提出了理想的自动驾驶系统应具备的推理、解释和记忆三个关键能力，并通过实验证明 LLM 在自动驾驶中具有卓越的推理能力为人类化自动驾驶的发展提供了有价值的思路。

    Jul, 2023

  • 异步机器学习增强规划器用于自动驾驶

    异步驱动器是一个利用大型语言模型（LLM）生成与场景相关的指令特征，引导实时规划器进行精确和可控轨迹预测的新的异步 LLM 增强闭环框架。

    Jun, 2024

  • LMDrive: 大型语言模型的闭环端到端驾驶

    本文介绍了 LMDrive，一种语言引导的、端到端的、闭环自动驾驶框架，它独特地处理和整合多模态传感器数据和自然语言指令，实现了与人类和导航软件在真实教学环境中的交互。为了促进基于语言的闭环自动驾驶的进一步研究，我们还公开发布了包含约 64K 个指令跟踪数据片段的数据集，以及测试系统处理复杂指令和具有挑战性驾驶场景的 LangAuto 基准。进行了广泛的闭环实验以证明 LMDrive 的有效性。据我们所知，我们是首个利用 LGM 进行闭环端到端自动驾驶的工作。相关代码可在此网址找到：https://

    Dec, 2023

  • LLM-Assist: 基于语言推理增强闭环规划

    通过结合传统规则基于的规划器与基于大型语言模型的规划器，利用 LLMs 的常识推理能力解决自动驾驶车辆面临的复杂场景，实现了最先进的性能，超越了所有现有的纯学习和基于规则的方法。

    Dec, 2023

  • iMotion-LLM: 运动预测指令调优

    iMotion-LLM 是一种多模态大型语言模型，通过轨迹预测指导交互式多智能体场景。通过在 Waymo 开放数据集中增加文本运动指令，我们创建了 InstructWaymo。iMotion-LLM 可在提供的指令方向上生成轨迹，增强安全性，并为自主导航系统解释和预测多智能体环境的动态奠定了基础。

    Jun, 2024

  • 接收、推理和反应：在自动驾驶车辆中根据您的指令驾驶的大型语言模型

    通过利用大型语言模型（LLMs）的语言和推理能力，本研究提出了一个新的框架来增强自动驾驶车辆决策过程。通过在不同场景中进行试验和实时个性化示范，我们展示了利用 LLMs 能够改善驾驶决策、提供个性化驾驶体验并增强自动驾驶的安全和效果。

    Oct, 2023

  • 自动驾驶场景下的上下文学习

    利用大型语言模型优化强化学习的奖励功能，使自动驾驶代理在行为上更加灵活、精准和类人化，探究奖励设计在塑造自动驾驶车辆行为中的重要影响，为更先进、类人化的自动驾驶系统的发展提供了有希望的方向。

    May, 2024

  • DriveMLM: 使用行为规划状态来对齐多模态大型语言模型和自动驾驶

    基于大型语言模型的自动驾驶框架 DriveMLM 并行闭环驾驶，在真实模拟器中进行，通过标准化决策状态与车辆控制命令之间的连接、使用多模态语言模型模拟行为规划模块以及设计有效的数据引擎进行数据集收集，该研究基于 CARLA Town05 Long 实验表明模型的驾驶得分达到 76.1，超过 Apollo 基准 4.7 分，验证了模型的有效性。

    Dec, 2023

  • LanguageMPC: 大规模语言模型作为自动驾驶决策者

    利用大型语言模型作为决策组件，通过认知路径和行为翻译算法实现在复杂的自治驾驶场景中对人类常识的综合推理，将大型语言模型的决策与低级控制器无缝集成，通过参数矩阵适应实现行为指令的执行，在单一和多车辆任务中均优于基准方法，具备常识推理能力，进一步推进复杂自动驾驶场景中的安全性、高效性、泛化性和互操作性。

    Oct, 2023

  • 自主驾驶的大型语言模型：现实世界实验

    利用大型语言模型（LLM）的 Talk-to-Drive 框架，通过处理人类的口头指令并结合上下文信息做出自主驾驶决策，实现个性化的安全、高效和舒适，成功率达到 100% 的执行命令，并在现实世界的实验中将不同驾驶员的接管率大幅降低至高达 90.1%，是在真实自主驾驶环境中应用 LLM 的首次实例。

    Dec, 2023