基于大型语言模型和视觉基础模型的多模态人工智能系统在实时感知、决策和工具控制方面与人类相似，并在自动驾驶和地图系统中引起广泛关注。本文对多模态大型语言模型驱动系统的关键挑战、机会和未来工作进行了系统研究，概述了多模态大型语言模型的背景、发展以及自动驾驶的历史，并总结了在自动驾驶中使用多模态大型语言模型的工具、数据集和基准，同时介绍了第一届大型语言和视觉模型自动驾驶研讨会的相关工作，提出了使用多模态大型语言模型在自动驾驶系统中需要解决的若干重要问题，并呼吁学术界和工业界共同促进该领域的发展。

Nov, 2023

DriveVLM 是一种利用 Vision-Language Models（VLMs）进行场景理解和规划的自动驾驶系统，通过一系列思维链模块实现场景描述、分析和层次规划，并提出了 DriveVLM-Dual 作为一种混合系统以解决 VLMs 在空间推理和计算需求上的限制，实现了稳健的空间理解和实时推理速度，通过对 nuScenes 数据集和 SUP-AD 数据集的广泛实验，证明了 DriveVLM 和 DriveVLM-Dual 在复杂和不可预测的驾驶条件下的有效性和增强性能。

Feb, 2024

该研究论文评估了最新的先进视觉语言模型（VLM）在自动驾驶场景中的应用，发现该模型在场景理解和因果推理方面表现出优越性能，但在方向辨别、交通信号识别、视觉对接以及空间推理任务方面仍存在挑战。

Nov, 2023

自动驾驶技术是改变交通运输和城市流动性的催化剂，从基于规则的系统过渡到基于数据驱动的策略。该研究论文系统地回顾了大型语言模型在自动驾驶领域的应用，并评估了当前技术进展、主要挑战和未来方向。

Nov, 2023

通过利用大型语言模型（LLMs）的语言和推理能力，本研究提出了一个新的框架来增强自动驾驶车辆决策过程。通过在不同场景中进行试验和实时个性化示范，我们展示了利用 LLMs 能够改善驾驶决策、提供个性化驾驶体验并增强自动驾驶的安全和效果。

Oct, 2023

未来的自动驾驶车辆依赖于人本主义设计和先进的人工智能能力，本文提出了一个新的框架，利用大型语言模型（LLMs）增强自动驾驶车辆的决策过程，目标是将 LLMs 的自然语言能力和上下文理解、专用工具使用、思维协同和各种模块行为与自动驾驶车辆无缝集成在一起，为自动驾驶技术提供个性化辅助、持续学习和透明决策，从而为更安全、更高效的自动驾驶技术作出贡献。

Sep, 2023

EM-VLM4AD 是一种轻量级、高效的多帧视觉语言模型，用于自动驾驶中的视觉问答任务，相较于先前方法，它在内存和浮点运算资源的使用上减少了至少 10 倍，并在 DriveLM 数据集上获得了更高的 BLEU-4、METEOR、CIDEr 和 ROGUE 分数。

Mar, 2024

自动驾驶面临重要的挑战：公众信任问题和长尾未知驾驶场景的安全担 忧。为解决这个问题，本文提倡在自动驾驶系统中整合大型语言模型，充分利用其强大的常识知识、推理能力和人机交互能力，将其作为智能决策者来提升整体自动驾驶性能和安全性。本文展示了两个案例研究的结果，证实了我们方法的有效性。此外，我们还讨论了将大型语言模型整合到其他自动驾驶软件组件 (包括感知、预测和仿真) 的潜在优势。尽管在案例研究中面临挑战，但大型语言模型的整合对于加强自动驾驶的安全性和性能具有潜在的希望和益处。

Nov, 2023

利用大型语言模型（LLM）的 Talk-to-Drive 框架，通过处理人类的口头指令并结合上下文信息做出自主驾驶决策，实现个性化的安全、高效和舒适，成功率达到 100% 的执行命令，并在现实世界的实验中将不同驾驶员的接管率大幅降低至高达 90.1%，是在真实自主驾驶环境中应用 LLM 的首次实例。

Dec, 2023

自主驾驶中的场景理解和推理是复杂而具有挑战性的任务。本文提出了一种新颖的 Vision-Language-Planning（VLP）框架，通过利用自然语言模型来弥合语义理解和自主驾驶之间的鸿沟，从而增强自动驾驶系统的规划性能，提高在挑战性场景中的表现，以及在面对新型城市环境时的强大泛化能力。

Jan, 2024