Nov, 2023

以 LLMs 支持用户命令推理的面向人类的自主系统

PDF
TL;DR自动驾驶的进化取得了显著的进展，并成为了一个实际存在的现实。为了确保自动驾驶系统符合用户意图，准确辨别和解释用户指令尤其是在复杂或紧急情况下是至关重要的。为了实现这一目标，我们提出利用大型语言模型（LLMs）的推理能力，从车载用户的指令中推断系统需求。通过一系列实验，包括不同的 LLM 模型和提示设计，我们探索了通过自然语言文本指令从少量样本进行多元二值分类的精确度。我们确认 LLM 可以理解和推理提示，但强调其有效性取决于 LLM 模型的质量和适当的连续提示的设计。代码和模型可在以下链接找到：https://github.com/KTH-RPL/DriveCmd_LLM。
autonomous drivinguser commandslarge language models (llms)system requirementsmultivariate binary classification
发现论文，激发创造
  • 接收、推理和反应：在自动驾驶车辆中根据您的指令驾驶的大型语言模型

    通过利用大型语言模型（LLMs）的语言和推理能力，本研究提出了一个新的框架来增强自动驾驶车辆决策过程。通过在不同场景中进行试验和实时个性化示范，我们展示了利用 LLMs 能够改善驾驶决策、提供个性化驾驶体验并增强自动驾驶的安全和效果。

    Oct, 2023

  • 基于大型语言模型的自动驾驶的混合推理

    研究表明，大型语言模型（LLMs）在自动驾驶场景中能够适应和应用算术和常识推理的组合，通过分析检测到的物体和传感器数据、理解驾驶法规和物理规律，并提供额外的上下文信息，从而改善自动驾驶车辆的制动和油门控制，以做出更准确的决策。

    Feb, 2024

  • 像人类驾驶：用大语言模型重新思考自动驾驶

    本文探讨使用大型语言模型（LLM）作为自动驾驶系统的潜力，认为传统优化和模块化的自动驾驶系统无法应对复杂情况，提出了理想的自动驾驶系统应具备的推理、解释和记忆三个关键能力，并通过实验证明 LLM 在自动驾驶中具有卓越的推理能力为人类化自动驾驶的发展提供了有价值的思路。

    Jul, 2023

  • 自主驾驶的大型语言模型：现实世界实验

    利用大型语言模型（LLM）的 Talk-to-Drive 框架，通过处理人类的口头指令并结合上下文信息做出自主驾驶决策，实现个性化的安全、高效和舒适，成功率达到 100% 的执行命令，并在现实世界的实验中将不同驾驶员的接管率大幅降低至高达 90.1%，是在真实自主驾驶环境中应用 LLM 的首次实例。

    Dec, 2023

  • LanguageMPC: 大规模语言模型作为自动驾驶决策者

    利用大型语言模型作为决策组件，通过认知路径和行为翻译算法实现在复杂的自治驾驶场景中对人类常识的综合推理，将大型语言模型的决策与低级控制器无缝集成，通过参数矩阵适应实现行为指令的执行，在单一和多车辆任务中均优于基准方法，具备常识推理能力，进一步推进复杂自动驾驶场景中的安全性、高效性、泛化性和互操作性。

    Oct, 2023

  • LLM-Assist: 基于语言推理增强闭环规划

    通过结合传统规则基于的规划器与基于大型语言模型的规划器，利用 LLMs 的常识推理能力解决自动驾驶车辆面临的复杂场景，实现了最先进的性能，超越了所有现有的纯学习和基于规则的方法。

    Dec, 2023

  • 自动驾驶的大型语言模型调查

    自动驾驶技术是改变交通运输和城市流动性的催化剂，从基于规则的系统过渡到基于数据驱动的策略。该研究论文系统地回顾了大型语言模型在自动驾驶领域的应用，并评估了当前技术进展、主要挑战和未来方向。

    Nov, 2023

  • 自主驾驶决策中大型语言模型的评估

    利用大型语言模型（LLM）在自动驾驶中的相关能力进行定量研究，评估了 LLM 在空间识别、空间感知决策和遵守交通规则方面的准确性，并开发了一个使用 LLM 驾驶车辆的系统来验证其可行性。

    Dec, 2023

  • 基于自然语言的 LLMs 上下文建模与推理：教程

    利用大型语言模型，我们展示了利用文本、提示和自主代理让模型进行上下文建模和推理的计算范式，即基于大型语言模型驱动的上下文感知计算。

    Sep, 2023

  • 大语言模型自动驾驶的安全要求工程化

    基于大型语言模型的原型管道可以在每次更新后自动细化和分解需求，还能对需求数据集进行审查，找出冗余或矛盾的需求，该研究通过多个迭代的设计科学，让不同公司的专家从定量和定性两个方面评估每个周期，最终在一个案例公司中实施了原型，并由负责团队评估其效率。

    Mar, 2024