DriveVLM 是一种利用 Vision-Language Models（VLMs）进行场景理解和规划的自动驾驶系统，通过一系列思维链模块实现场景描述、分析和层次规划，并提出了 DriveVLM-Dual 作为一种混合系统以解决 VLMs 在空间推理和计算需求上的限制，实现了稳健的空间理解和实时推理速度，通过对 nuScenes 数据集和 SUP-AD 数据集的广泛实验，证明了 DriveVLM 和 DriveVLM-Dual 在复杂和不可预测的驾驶条件下的有效性和增强性能。

Feb, 2024

该研究论文评估了最新的先进视觉语言模型（VLM）在自动驾驶场景中的应用，发现该模型在场景理解和因果推理方面表现出优越性能，但在方向辨别、交通信号识别、视觉对接以及空间推理任务方面仍存在挑战。

Nov, 2023

我们介绍了视频语言规划（VLP）算法，利用在互联网规模数据上预训练的大型生成模型，通过在生成视频和语言空间中进行可视化规划来完成复杂的长期任务，通过针对多模态（视频和语言）进行详细规划来描述如何完成最终任务，进一步通过目标条件策略将生成的视频转化为真实的机器人行动。

Oct, 2023

CarLLaVA 是一种用于自主驾驶的视觉语言模型，通过 LLaMA 架构和 LLaVA VLM 的视觉编码器实现闭环驾驶性能的最新进展，无需复杂或昂贵的标签，并通过行驶输出展示了预测语言评论的初步结果。

Jun, 2024

提出了 CODA-LM，这是一个用于自动驾驶的新兴视觉 - 语言基准测试，通过利用文本而不使用图像输入，使强大的文本 - 语言模型能够评估 LVLM 在自动驾驶场景中的能力，并揭示了它们与人类偏好的更强的一致性。实验证明，即使是像 GPT-4V 这样的商用 LVLM 也无法很好地处理路上的特殊情况，这表明我们离强大的 LVLM 驱动的智能驾驶代理系统还有很长的路要走，希望 CODA-LM 能够成为推动未来发展的催化剂。

Apr, 2024

提出了一个用于自动驾驶的新数据集 Reason2Drive，其中包含了 600K 个视频文本对，以促进对复杂驾驶环境中可解释推理的研究。基于该数据集进行实验评估各种现有的视觉语言模型，并通过开发一种有效的方法来提高模型的推理准确性。

Dec, 2023

该研究论文综述了视觉语言模型在自动驾驶和智能交通系统领域的应用，包括当前模型和数据集，并探讨了潜在的应用和新兴的研究方向，同时详细讨论了挑战和研究空白。该论文旨在向研究人员提供有关 VLM 在自动驾驶和智能交通系统中的最新工作和未来趋势。

Oct, 2023

提出了一种将语言模型和符号规划器相结合的新框架，通过生成语言指令和场景观察的问题描述 (PD) 来驱动符号规划器，实现语言引导的机器人规划，实验结果显示该框架能够以超过 99% 的准确率生成句法正确的问题描述和超过 58% 的准确率生成有效的机器人规划。

Nov, 2023

该文章综述了多模态机器学习和人工智能的最新进展，提出了 “实体视觉语言规划（EVLP）” 这一重要领域并进行了分类和算法分析，并探讨了现实世界中模型的概括性和部署的核心挑战。

Apr, 2023

通过结合传统规则基于的规划器与基于大型语言模型的规划器，利用 LLMs 的常识推理能力解决自动驾驶车辆面临的复杂场景，实现了最先进的性能，超越了所有现有的纯学习和基于规则的方法。

Dec, 2023