该论文提出了一种模型，用于检测当给定命令时不确定的情况和引起它们的视觉对象，并为乘客生成澄清问题，从而增强乘客对自动驾驶车辆的信心。

Jun, 2021

该研究介绍了一种基于语言的驾驶智能体，它使用递归层和门控注意力实现分层策略，通过条件模仿学习培训策略，并能够成功地解释语言指令并安全地跟随它们，甚至在以前未见过的环境中进行泛化。

Oct, 2019

本论文提出一种基于自然语言的方式来解决乘客对 AI 控制下的自动驾驶车辆的不安全感问题，重点研究目的地预测，提出了一种模型，并证明其在此类应用中比异类模型更有效。

Dec, 2021

利用大型语言模型（LLM）的 Talk-to-Drive 框架，通过处理人类的口头指令并结合上下文信息做出自主驾驶决策，实现个性化的安全、高效和舒适，成功率达到 100% 的执行命令，并在现实世界的实验中将不同驾驶员的接管率大幅降低至高达 90.1%，是在真实自主驾驶环境中应用 LLM 的首次实例。

Dec, 2023

我们提出了一种从普通流程转变的方法，即通过引入大型语言模型作为认知代理，将人类智能融入自动驾驶系统，实现更加人性化的自动驾驶。我们的方法通过函数调用访问一个多功能工具库、具有常识和经验知识的认知记忆以进行决策制定，并且具备由思维推理、任务规划、动作规划和自我反思构成的推理引擎。在大规模 nuScenes 基准测试中，我们的 Agent-Driver 显著优于现有的自动驾驶方法，并且还表现出较强的可解释性和少样本学习能力。

Nov, 2023

提出了第一个针对 3D、多视角和多帧空间中驾驶场景的以物体为中心的语言提示集 NuPrompt，并构建了包括 35,367 个语言描述的新的基准数据集。基于该数据集，提出了一种以语言提示为基础的驾驶任务，使用语言提示来预测描述物体在不同视角和帧中的轨迹，并提供了一个简单的基于 Transformer 的端到端基准模型 PromptTrack，实验结果表明 PromptTrack 在 NuPrompt 上取得了令人印象深刻的性能。希望这项工作能为自动驾驶社区提供更多的新见解。数据集和代码将在此 https URL 公开。

Sep, 2023

本文提出了通过自然语言引导来提高深度神经控制网络在自动驾驶车辆中的应用，采用了一种可接受建议的端到端车辆控制器，该控制器通过注意机制将控制行为与建议中的显著物体联系起来，并通过自然语言指南来增强网络的性能。

Nov, 2019

本研究使用基于语言描述的车辆搜索来探索其在实际场景中的潜力，结合最先进的视觉模型和基于 Transformer 的语言模型，重新审视了网络结构设计、训练策略和优化目标，实验结果显示出了优越的性能，并希望为未来车辆检索系统的研究铺平道路。

May, 2021

本文提出了一个新的方法，支持自然语言语音指令来指导深度强化学习算法在训练自动驾驶汽车时使用。作者在本文中提出对于人类专家缺乏自然沟通渠道和采样和时间效率的限制等问题，探究了人类与代理智能的学习交互方式的新方法，利用自然语言语音指令（NLI）来进行模型设计的深度强化学习，结合 CARLA 模拟器评估了所提出的方法，表明 NLI 可以帮助缓解训练过程，显著提高代理智能的学习速度。

Jun, 2022

该研究提出了一个框架，用于在现实世界中建立交互式、实时的、自然语言指导的机器人，并开源相关资产 (数据集、环境、基准和策略)。

Oct, 2022