我们提出了一种从普通流程转变的方法，即通过引入大型语言模型作为认知代理，将人类智能融入自动驾驶系统，实现更加人性化的自动驾驶。我们的方法通过函数调用访问一个多功能工具库、具有常识和经验知识的认知记忆以进行决策制定，并且具备由思维推理、任务规划、动作规划和自我反思构成的推理引擎。在大规模 nuScenes 基准测试中，我们的 Agent-Driver 显著优于现有的自动驾驶方法，并且还表现出较强的可解释性和少样本学习能力。
Nov, 2023
本文提出了一个新的方法，支持自然语言语音指令来指导深度强化学习算法在训练自动驾驶汽车时使用。作者在本文中提出对于人类专家缺乏自然沟通渠道和采样和时间效率的限制等问题，探究了人类与代理智能的学习交互方式的新方法，利用自然语言语音指令（NLI）来进行模型设计的深度强化学习，结合 CARLA 模拟器评估了所提出的方法，表明 NLI 可以帮助缓解训练过程，显著提高代理智能的学习速度。
Jun, 2022
本文提出了一个包含自然语言命令的自主驾驶汽车对象引用数据集，并与相关数据集进行了比较以及使用强大的最新模型进行了表现分析，该对象引用任务对于模型仍需要自然语言处理、计算机视觉以及这些领域的交叉研究进行进一步的研究。
Sep, 2019
本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。
Mar, 2015
该论文提出了一种模型，用于检测当给定命令时不确定的情况和引起它们的视觉对象，并为乘客生成澄清问题，从而增强乘客对自动驾驶车辆的信心。
Jun, 2021
通过自然语言条件化的模拟学习方法，结合像素感知、自然语言理解和多任务连续控制的神经网络，可以在无需任务或语言标签的情况下，显著提高任务成果，同时将语言注释成本降低到总数据量的不到 1％。
May, 2020
通过利用大型语言模型（LLMs）的语言和推理能力，本研究提出了一个新的框架来增强自动驾驶车辆决策过程。通过在不同场景中进行试验和实时个性化示范，我们展示了利用 LLMs 能够改善驾驶决策、提供个性化驾驶体验并增强自动驾驶的安全和效果。
Oct, 2023
未来的自动驾驶车辆依赖于人本主义设计和先进的人工智能能力，本文提出了一个新的框架，利用大型语言模型（LLMs）增强自动驾驶车辆的决策过程，目标是将 LLMs 的自然语言能力和上下文理解、专用工具使用、思维协同和各种模块行为与自动驾驶车辆无缝集成在一起，为自动驾驶技术提供个性化辅助、持续学习和透明决策，从而为更安全、更高效的自动驾驶技术作出贡献。
Sep, 2023
本文提出了通过自然语言引导来提高深度神经控制网络在自动驾驶车辆中的应用，采用了一种可接受建议的端到端车辆控制器，该控制器通过注意机制将控制行为与建议中的显著物体联系起来，并通过自然语言指南来增强网络的性能。
Nov, 2019
本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。