Dec, 2023

LMDrive: 大型语言模型的闭环端到端驾驶

TL;DR本文介绍了 LMDrive,一种语言引导的、端到端的、闭环自动驾驶框架,它独特地处理和整合多模态传感器数据和自然语言指令,实现了与人类和导航软件在真实教学环境中的交互。为了促进基于语言的闭环自动驾驶的进一步研究,我们还公开发布了包含约 64K 个指令跟踪数据片段的数据集,以及测试系统处理复杂指令和具有挑战性驾驶场景的 LangAuto 基准。进行了广泛的闭环实验以证明 LMDrive 的有效性。据我们所知,我们是首个利用 LGM 进行闭环端到端自动驾驶的工作。相关代码可在此网址找到:https://