Dec, 2023

LaMPilot：一个用于自动驾驶的开放基准数据集与语言模型程序

PDF
TL;DR我们提出了 LaMPilot，一个新颖的自主驾驶规划框架，将任务重新定义为一个利用已建立的行为基元的代码生成过程，旨在解决解释和执行 spontanous 用户指令（如 “超过前面的车”）的挑战，这通常对现有框架构成困难。我们介绍了 LaMPilot 基准，专门设计用于量化大型语言模型（LLMs）在将人类指令转化为可执行驾驶策略方面的效能。我们还在 LaMPilot 基准的任务上评估了一系列最先进的代码生成语言模型。实验结果显示，带有人类反馈的 GPT-4​​的任务完成率达到了 92.7％，最小碰撞率为 0.9％。为了鼓励进一步的研究，我们将提供代码和数据集。
发现论文，激发创造
  • DriveGPT4: 大型语言模型实现可解释的端到端自动驾驶

    DriveGPT4 是一种可解释的端到端自动驾驶系统，利用大型语言模型，能够理解车辆行为、提供相应推理、回答用户的问题以增强交互，同时也能以端到端的方式预测车辆的低层控制信号，并且在多个任务中展现出优越的性能和通用性。

    Oct, 2023

  • Copilot 评估系统：评估 LLM 指导的软件编程

    利用 Large Language Models（LLMs）提高开发人员在开发环境（IDEs）中的生产力是现代软件开发的重点。本文介绍了 Copilot 评估工具，用于评估 LLM 引导的 IDE 交互，在不同编程场景和语言中提供了更稳健和信息丰富的评估指标。通过这些指标，我们评估了三种常见 LLMs 的性能，为未来的 LLM 引导 IDE 场景的开发和验证提供了经验教训。

    Feb, 2024

  • 自主驾驶的大型语言模型：现实世界实验

    利用大型语言模型（LLM）的 Talk-to-Drive 框架，通过处理人类的口头指令并结合上下文信息做出自主驾驶决策，实现个性化的安全、高效和舒适，成功率达到 100% 的执行命令，并在现实世界的实验中将不同驾驶员的接管率大幅降低至高达 90.1%，是在真实自主驾驶环境中应用 LLM 的首次实例。

    Dec, 2023

  • GPT 司机：用 GPT 学习驾驶

    我们提出了一种简单而有效的方法，可以将 OpenAI GPT-3.5 模型转化为可靠的自动驾驶车辆动作规划器。

    Oct, 2023

  • LoTa-Bench: 为具有体现性代理的面向语言任务规划器进行基准测试

    提出了一个针对家庭服务实体代理的任务规划性能自动量化基准系统，对大型语言模型和提示进行了广泛实验，并探索了基线任务规划器的多个改进，预计该基准工具将加快语言导向的任务规划器的发展。

    Feb, 2024

  • LMDrive: 大型语言模型的闭环端到端驾驶

    本文介绍了 LMDrive，一种语言引导的、端到端的、闭环自动驾驶框架，它独特地处理和整合多模态传感器数据和自然语言指令，实现了与人类和导航软件在真实教学环境中的交互。为了促进基于语言的闭环自动驾驶的进一步研究，我们还公开发布了包含约 64K 个指令跟踪数据片段的数据集，以及测试系统处理复杂指令和具有挑战性驾驶场景的 LangAuto 基准。进行了广泛的闭环实验以证明 LMDrive 的有效性。据我们所知，我们是首个利用 LGM 进行闭环端到端自动驾驶的工作。相关代码可在此网址找到：https://

    Dec, 2023

  • 像人类驾驶：用大语言模型重新思考自动驾驶

    本文探讨使用大型语言模型（LLM）作为自动驾驶系统的潜力，认为传统优化和模块化的自动驾驶系统无法应对复杂情况，提出了理想的自动驾驶系统应具备的推理、解释和记忆三个关键能力，并通过实验证明 LLM 在自动驾驶中具有卓越的推理能力为人类化自动驾驶的发展提供了有价值的思路。

    Jul, 2023

  • LaMP: 大型语言模型与个性化的相遇

    本文介绍了个性化对于自然语言理解和生成的重要性，并引入了 LaMP 基准测试 - 一种用于训练和评估用于生成个性化输出的语言模型的新基准测试。LaMP 提供了一个包含多样化语言任务和每个用户配置文件的多个条目的全面评估框架。它由七个个性化任务组成，横跨三个分类任务和四个文本生成任务。我们还提出了一种检索增强方法，该方法从用户配置文件中检索个性化项，以构造大型语言模型的个性化提示。我们的基线零 - shot 和微调模型结果表明，利用配置文件增强的 LM 优于不考虑配置文件信息的其同类。

    Apr, 2023

  • 探索和表征用于嵌入式系统开发和调试的大型语言模型

    LLMs like GPT-4 show exceptional cross-domain understanding and reasoning for embedded systems development, producing fully correct programs, functional interfaces, register-level drivers, code for LoRa communication, and context-specific power optimizations, resulting in improved productivity and success rate using an AI workflow.

    Jul, 2023

  • 自动化评估大型视觉语言模型对自动驾驶的极端情况

    提出了 CODA-LM，这是一个用于自动驾驶的新兴视觉 - 语言基准测试，通过利用文本而不使用图像输入，使强大的文本 - 语言模型能够评估 LVLM 在自动驾驶场景中的能力，并揭示了它们与人类偏好的更强的一致性。实验证明，即使是像 GPT-4V 这样的商用 LVLM 也无法很好地处理路上的特殊情况，这表明我们离强大的 LVLM 驱动的智能驾驶代理系统还有很长的路要走，希望 CODA-LM 能够成为推动未来发展的催化剂。

    Apr, 2024