该研究论文综述了视觉语言模型在自动驾驶和智能交通系统领域的应用，包括当前模型和数据集，并探讨了潜在的应用和新兴的研究方向，同时详细讨论了挑战和研究空白。该论文旨在向研究人员提供有关 VLM 在自动驾驶和智能交通系统中的最新工作和未来趋势。

Oct, 2023

我们提出了 TransportationGames，这是一个经过精心设计和全面评估的基准测试，用于评估 (多模态) 大规模语言模型在交通领域中的性能，并发现尽管某些模型在某些任务中表现良好，但整体上仍有很大的改进空间。我们希望 TransportationGames 的发布能够成为未来研究的基础，加速 (多模态) 大规模语言模型在交通领域中的实施和应用。

Jan, 2024

该研究提出了一种新型的多智能体异态合作感知框架，名为 HM-ViT，可以在异构传感器模态下协同预测高度动态的自动驾驶交通中的三维物体。实验证明 HM-ViT 相比先前的合作感知方法具有更好的效果。

Apr, 2023

开发下一代智能 LiDAR 的新框架，并在实验平台 DAWN 上构建硬件原型，强调物理空间和数字空间在 LiDAR 系统中的紧密集成，其中网络是其支持的核心特性之一，通过使用 OpenCDA 和 RLS 构建异构 LiDAR 数据集 OPV2V-HPL，并提出 HPL-ViT 架构用于异构和动态场景中的稳健特征融合，通过在 OPV2V-HPL 上进行广泛实验验证，HPL-ViT 在所有设置中实现了 SOTA 性能，并展现出出色的泛化能力。

Sep, 2023

本研究针对自主车辆安全规划的需求，提出基于图神经网络的场景一致性运动预测模型，并取得在运动预测和交互理解方面的最新进展，证明其对实现更安全、更舒适的运动规划具有显著意义。

Jul, 2020

本文提出了一种基于潜在空间模型的道路网络（LSM-RN）用于解决实时交通预测的问题，该模型能够学习路网快照的属性，并根据时间依赖性进行实时交通预测，通过与大量真实交通传感器数据的实验比较也展示了其优越性。

Feb, 2016

本文提出了一个基于图形结构的框架，包含可视化预测模块及提案网络模块，利用低维潜在空间进行常规复杂操作的动作计划，验证了在模拟环境和实际机器人中制定可行的任务完成方案及操作计划。

Mar, 2020

通过对齐不同类型嵌入空间的方法，本研究展示了使用多模态输入改善视觉语言模型在场景理解和任务表现方面的效果，从而为多模态环境中更加多功能和有能力的语言模型铺平了道路。

Aug, 2023

我们提出了潜在的组合语义嵌入 z * 作为查询空间语义记忆的基于学习的知识表示，并且证明了 z * 可以通过梯度下降的迭代优化被发现。我们通过实验证明了 z * 能够表示由 SBERT 编码的多达 10 个语义和理想均匀分布的高维嵌入的多达 100 个语义，同时展示了在 COCO-Stuff 数据集上针对 181 个重叠语义，经过密集 VLM 训练的 z * 具有 42.23 的 mIoU，相比于流行的 SOTA 模型改进了 3.48 的 mIoU 的传统非重叠开放词汇分割性能。

Oct, 2023

通过实验证明，对多模态大型语言模型进行微调时，虽然确实获得了特定领域的视觉能力，但更新不会导致提取相关的特定领域视觉属性。结果表明，即使只对投影进行微调，领域特定的视觉属性仍由语言模型来建模。通过这项研究，我们提供了对多模态大型语言模型架构中交叉模态投影作用的潜在重新解释。

Feb, 2024