我们研究了如何将在网络规模的数据上训练的视觉 - 语言模型（VLMs）整合到端到端驾驶系统中，以增强泛化能力，并实现与人类用户的互动。通过在感知、预测和规划等方面建立图结构推理的问答对模型，我们提出了 Graph VQA 任务，以模拟人类的推理过程。我们构建了基于 nuScenes 和 CARLA 的数据集（DriveLM-Data），并提出了一个基于 VLM 的基准方法（DriveLM-Agent），用于同时进行 Graph VQA 和端到端驾驶。实验证明 Graph VQA 为驾驶场景的推理提供了简单和有原则的框架，DriveLM-Data 为这一任务提供了具有挑战性的基准。我们的 DriveLM-Agent 基线在与最先进的专用驾驶架构相比的端到端自动驾驶方面表现出了竞争力。值得注意的是，当其在未见过的对象或传感器配置上进行零样本评估时，其效果更为显著。希望这项工作能为如何将 VLMs 应用于自动驾驶提供新的启示。为了促进未来的研究，我们将所有的代码、数据和模型公开提供。

Dec, 2023

DriveVLM 是一种利用 Vision-Language Models（VLMs）进行场景理解和规划的自动驾驶系统，通过一系列思维链模块实现场景描述、分析和层次规划，并提出了 DriveVLM-Dual 作为一种混合系统以解决 VLMs 在空间推理和计算需求上的限制，实现了稳健的空间理解和实时推理速度，通过对 nuScenes 数据集和 SUP-AD 数据集的广泛实验，证明了 DriveVLM 和 DriveVLM-Dual 在复杂和不可预测的驾驶条件下的有效性和增强性能。

Feb, 2024

该研究介绍了一个多智能体框架 (GameVLM)，使用预先训练的视觉语言模型 (GPT-4V) 来增强机器人任务规划中的决策过程，通过引入零和博弈理论来解决不同智能体之间的一致性问题，并得出最优解，实验证明该框架具有 83.3% 的平均成功率。

May, 2024

提出了一种名为 UDKAG 的框架，通过互联网搜索来为 Large vision-language models 提供最新的知识，以应对视觉问答。使用层级过滤模型从搜索引擎返回的网站中有效地找到最有帮助的内容。实验结果表明，该框架的效果比 GPT-4V 高出约 25%。

May, 2024

本文介绍了一个设计用于开放环境的 GAgent：一种通过 VLM 代理和可变刚度软握持器提供高级认知能力的抓取代理。GAgent 由 Prompt Engineer 模块、视觉语言模型（VLM）核心和工作流模块组成。这三个模块通过识别对象和物料以及在具有挑战性的照明条件下准确估计握持区域能够提高夹持成功率。作为创造性的一部分，研究人员还创建了一种具有可变刚度的仿生混合软握持器，能够夹持重负载同时轻柔地接触物体。这种具备基于 VLM 的认知处理和仿生设计的智能代理显示出潜力，有望在各种场景下为无人机带来益处。

Mar, 2024

城市场景交通安全描述与分析在保险检查和事故预防等应用中起着关键作用。本文介绍了 CityLLaVA，一种专门用于城市场景的视觉语言模型的新的微调框架，通过采用边界框进行最佳视觉数据预处理，包括视频最佳视角选择和在训练和测试阶段进行视觉提示工程；构建简明的问答序列和设计文本提示以提高指令理解；通过块扩展高效微调大型视觉语言模型，并通过一种独特的顺序提问预测增强方法提高预测准确性。在实验中，我们的方法达到了 33.4308 的基准分数，在排行榜上占据了领先位置。

May, 2024

通过对齐不同类型嵌入空间的方法，本研究展示了使用多模态输入改善视觉语言模型在场景理解和任务表现方面的效果，从而为多模态环境中更加多功能和有能力的语言模型铺平了道路。

Aug, 2023

该研究论文评估了最新的先进视觉语言模型（VLM）在自动驾驶场景中的应用，发现该模型在场景理解和因果推理方面表现出优越性能，但在方向辨别、交通信号识别、视觉对接以及空间推理任务方面仍存在挑战。

Nov, 2023

我们介绍了一种名为 Robotic Vision-Language Planning (ViLa) 的新方法，该方法结合了视觉 - 语言模型和长期规划，通过直接整合感知数据来生成可行步骤序列，以在广泛的开放世界操纵任务中展示其优势。

Nov, 2023

本研究提出了一种基于 Unit-Transformer 的混合训练框架，将 Vision language decision making 任务分解为可管理的单元，并通过活跃的环境探索和内部循环状态来改进模型，最终取得优于现有方法的成果。

Jul, 2023