本论文探讨了将 GPT-4V 视觉语言模型应用于矿山环境中的自动驾驶，它能够理解意图并在紧急情况下做出准确决策。通过视觉问答和复杂场景理解，GPT-4V 解决了这些特殊环境下的挑战，如识别和解释行人、各种车辆和交通设备等元素。尽管 GPT-4V 在准确识别特定车型和管理动态交互方面存在困难，但其有效的导航和策略决策展示了其在矿山环境复杂条件下作为可靠自动驾驶代理的潜力，凸显了其在工业环境中的适应性和可操作性。

Jun, 2024

DriveVLM 是一种利用 Vision-Language Models（VLMs）进行场景理解和规划的自动驾驶系统，通过一系列思维链模块实现场景描述、分析和层次规划，并提出了 DriveVLM-Dual 作为一种混合系统以解决 VLMs 在空间推理和计算需求上的限制，实现了稳健的空间理解和实时推理速度，通过对 nuScenes 数据集和 SUP-AD 数据集的广泛实验，证明了 DriveVLM 和 DriveVLM-Dual 在复杂和不可预测的驾驶条件下的有效性和增强性能。

Feb, 2024

该研究论文综述了视觉语言模型在自动驾驶和智能交通系统领域的应用，包括当前模型和数据集，并探讨了潜在的应用和新兴的研究方向，同时详细讨论了挑战和研究空白。该论文旨在向研究人员提供有关 VLM 在自动驾驶和智能交通系统中的最新工作和未来趋势。

Oct, 2023

通过使用 GPT-4V 对代表性交通事件视频进行实验，我们发现 GPT-4V 在某些经典交通事件中展现出了出色的认知、推理和决策能力，同时也发现了它在更复杂场景中的理解存在一定限制，这些限制值得进一步探索和解决。

Feb, 2024

DriveGPT4 是一种可解释的端到端自动驾驶系统，利用大型语言模型，能够理解车辆行为、提供相应推理、回答用户的问题以增强交互，同时也能以端到端的方式预测车辆的低层控制信号，并且在多个任务中展现出优越的性能和通用性。

Oct, 2023

自主驾驶中的场景理解和推理是复杂而具有挑战性的任务。本文提出了一种新颖的 Vision-Language-Planning（VLP）框架，通过利用自然语言模型来弥合语义理解和自主驾驶之间的鸿沟，从而增强自动驾驶系统的规划性能，提高在挑战性场景中的表现，以及在面对新型城市环境时的强大泛化能力。

Jan, 2024

提出了一个用于自动驾驶的新数据集 Reason2Drive，其中包含了 600K 个视频文本对，以促进对复杂驾驶环境中可解释推理的研究。基于该数据集进行实验评估各种现有的视觉语言模型，并通过开发一种有效的方法来提高模型的推理准确性。

Dec, 2023

EM-VLM4AD 是一种轻量级、高效的多帧视觉语言模型，用于自动驾驶中的视觉问答任务，相较于先前方法，它在内存和浮点运算资源的使用上减少了至少 10 倍，并在 DriveLM 数据集上获得了更高的 BLEU-4、METEOR、CIDEr 和 ROGUE 分数。

Mar, 2024

提出了 CODA-LM，这是一个用于自动驾驶的新兴视觉 - 语言基准测试，通过利用文本而不使用图像输入，使强大的文本 - 语言模型能够评估 LVLM 在自动驾驶场景中的能力，并揭示了它们与人类偏好的更强的一致性。实验证明，即使是像 GPT-4V 这样的商用 LVLM 也无法很好地处理路上的特殊情况，这表明我们离强大的 LVLM 驱动的智能驾驶代理系统还有很长的路要走，希望 CODA-LM 能够成为推动未来发展的催化剂。

Apr, 2024

我们研究了如何将在网络规模的数据上训练的视觉 - 语言模型（VLMs）整合到端到端驾驶系统中，以增强泛化能力，并实现与人类用户的互动。通过在感知、预测和规划等方面建立图结构推理的问答对模型，我们提出了 Graph VQA 任务，以模拟人类的推理过程。我们构建了基于 nuScenes 和 CARLA 的数据集（DriveLM-Data），并提出了一个基于 VLM 的基准方法（DriveLM-Agent），用于同时进行 Graph VQA 和端到端驾驶。实验证明 Graph VQA 为驾驶场景的推理提供了简单和有原则的框架，DriveLM-Data 为这一任务提供了具有挑战性的基准。我们的 DriveLM-Agent 基线在与最先进的专用驾驶架构相比的端到端自动驾驶方面表现出了竞争力。值得注意的是，当其在未见过的对象或传感器配置上进行零样本评估时，其效果更为显著。希望这项工作能为如何将 VLMs 应用于自动驾驶提供新的启示。为了促进未来的研究，我们将所有的代码、数据和模型公开提供。

Dec, 2023