Dec, 2023

LLM-Assist: 基于语言推理增强闭环规划

PDF
TL;DR通过结合传统规则基于的规划器与基于大型语言模型的规划器，利用 LLMs 的常识推理能力解决自动驾驶车辆面临的复杂场景，实现了最先进的性能，超越了所有现有的纯学习和基于规则的方法。
autonomous drivingplanning algorithmslearning-based plannersrule-based plannerslarge language models
发现论文，激发创造
  • 基于大型语言模型的自动驾驶的混合推理

    研究表明，大型语言模型（LLMs）在自动驾驶场景中能够适应和应用算术和常识推理的组合，通过分析检测到的物体和传感器数据、理解驾驶法规和物理规律，并提供额外的上下文信息，从而改善自动驾驶车辆的制动和油门控制，以做出更准确的决策。

    Feb, 2024

  • 大型语言模型的规划能力 - 一项关键调查

    本文旨在研究 LLLms 在常识规划任务中的规划能力，通过在国际计划竞赛中生成一系列实例，并评估 LLMs 在自主规划和启发式两种不同模式下的表现，发现 LLMs 在自主规划方面的表现非常有限，但在启发式模式下，LLMs 生成的计划可以改善其它智能计划器的搜索过程并提供反馈以进一步验证计划质量。

    May, 2023

  • 以 LLMs 支持用户命令推理的面向人类的自主系统

    自动驾驶的进化取得了显著的进展，并成为了一个实际存在的现实。为了确保自动驾驶系统符合用户意图，准确辨别和解释用户指令尤其是在复杂或紧急情况下是至关重要的。为了实现这一目标，我们提出利用大型语言模型（LLMs）的推理能力，从车载用户的指令中推断系统需求。通过一系列实验，包括不同的 LLM 模型和提示设计，我们探索了通过自然语言文本指令从少量样本进行多元二值分类的精确度。我们确认 LLM 可以理解和推理提示，但强调其有效性取决于 LLM 模型的质量和适当的连续提示的设计。代码和模型可在以下链接找到：https://github.com/KTH-RPL/DriveCmd_LLM。

    Nov, 2023

  • 接收、推理和反应：在自动驾驶车辆中根据您的指令驾驶的大型语言模型

    通过利用大型语言模型（LLMs）的语言和推理能力，本研究提出了一个新的框架来增强自动驾驶车辆决策过程。通过在不同场景中进行试验和实时个性化示范，我们展示了利用 LLMs 能够改善驾驶决策、提供个性化驾驶体验并增强自动驾驶的安全和效果。

    Oct, 2023

  • LanguageMPC: 大规模语言模型作为自动驾驶决策者

    利用大型语言模型作为决策组件，通过认知路径和行为翻译算法实现在复杂的自治驾驶场景中对人类常识的综合推理，将大型语言模型的决策与低级控制器无缝集成，通过参数矩阵适应实现行为指令的执行，在单一和多车辆任务中均优于基准方法，具备常识推理能力，进一步推进复杂自动驾驶场景中的安全性、高效性、泛化性和互操作性。

    Oct, 2023

  • 异步机器学习增强规划器用于自动驾驶

    异步驱动器是一个利用大型语言模型（LLM）生成与场景相关的指令特征，引导实时规划器进行精确和可控轨迹预测的新的异步 LLM 增强闭环框架。

    Jun, 2024

  • 像人类驾驶：用大语言模型重新思考自动驾驶

    本文探讨使用大型语言模型（LLM）作为自动驾驶系统的潜力，认为传统优化和模块化的自动驾驶系统无法应对复杂情况，提出了理想的自动驾驶系统应具备的推理、解释和记忆三个关键能力，并通过实验证明 LLM 在自动驾驶中具有卓越的推理能力为人类化自动驾驶的发展提供了有价值的思路。

    Jul, 2023

  • 关于大型语言模型的规划能力（一项带有提议基准的关键调查）

    研究了通用 Web 语料库上训练的语言模型的计划能力，开发了基于国际计划竞赛领域的基准套件，在自治、启发式和人机协作模式下对 LLM 进行了评估，发现自主生成可执行计划的能力非常有限，只有约 3% 的成功率。

    Feb, 2023

  • HighwayLLM：基于增强学习的语言模型的高速公路驾驶决策与导航

    通过集成大型语言模型（LLM）与强化学习（RL）和 PID 控制器，本研究提出了一种名为 HighwayLLM 的新方法，用于实现高速公路自动驾驶的安全、无碰撞、可解释的决策过程。

    May, 2024

  • LMDrive: 大型语言模型的闭环端到端驾驶

    本文介绍了 LMDrive，一种语言引导的、端到端的、闭环自动驾驶框架，它独特地处理和整合多模态传感器数据和自然语言指令，实现了与人类和导航软件在真实教学环境中的交互。为了促进基于语言的闭环自动驾驶的进一步研究，我们还公开发布了包含约 64K 个指令跟踪数据片段的数据集，以及测试系统处理复杂指令和具有挑战性驾驶场景的 LangAuto 基准。进行了广泛的闭环实验以证明 LMDrive 的有效性。据我们所知，我们是首个利用 LGM 进行闭环端到端自动驾驶的工作。相关代码可在此网址找到：https://

    Dec, 2023