GPT-4V 在自动驾驶中利用公开可用的数据集 JAAD、PIE 和 WiDEVIEW 进行行人行为预测的评估，定量和定性评估证明了 GPT-4V 在零 - shot 行人行为预测和自动驾驶中的驾驶场景理解能力，但仍不及传统领域特定模型的最新成果，存在小行人和运动车辆处理困难等限制，需要进一步研究和发展。

Nov, 2023

该研究论文评估了最新的先进视觉语言模型（VLM）在自动驾驶场景中的应用，发现该模型在场景理解和因果推理方面表现出优越性能，但在方向辨别、交通信号识别、视觉对接以及空间推理任务方面仍存在挑战。

Nov, 2023

本论文探讨了将 GPT-4V 视觉语言模型应用于矿山环境中的自动驾驶，它能够理解意图并在紧急情况下做出准确决策。通过视觉问答和复杂场景理解，GPT-4V 解决了这些特殊环境下的挑战，如识别和解释行人、各种车辆和交通设备等元素。尽管 GPT-4V 在准确识别特定车型和管理动态交互方面存在困难，但其有效的导航和策略决策展示了其在矿山环境复杂条件下作为可靠自动驾驶代理的潜力，凸显了其在工业环境中的适应性和可操作性。

Jun, 2024

利用现有基准数据集对 GPT-4V 的五项任务进行定量分析，并选择有代表性的样本详细评估其在社交多媒体内容理解方面的潜力，结果显示 GPT-4V 在情感分析、仇恨言论检测、假新闻识别、人口推断和政治意识形态检测等任务上展现出显著的效果，并具备图像 - 文本配对的联合理解、文化和语境意识、以及广泛的常识知识，但在涉及多语言社交多媒体理解和对社交媒体最新趋势的泛化方面仍存在挑战，同时在涉及名人和政治家知识的持续发展背景下，会出现错误信息生成的倾向，这反映了已知的幻觉问题，研究结果表明，大型多模态模型在通过分析多模态信息来增进对社交媒体内容及其用户的理解方面具有巨大的潜力。

Nov, 2023

通过对多模态机制的详细分析，揭示了 GPT-4V 等模型执行视觉和语言任务的一致性与独立性，并引入了一种名为 “Vision Description Prompting” 的方法，有效提高了具有挑战性的视觉相关任务的性能。

Oct, 2023

使用 GPT-4V 模型进行多模态异态检测任务，包括图像、视频、点云和时间序列数据，在工业、医学、逻辑、视频和 3D 异态检测以及定位任务等多个应用领域中，通过引入类别信息、人类专业知识和参考图像等提示来提高模型性能。在实验中，GPT-4V 模型证明在零 / 一次检测中能够高效地检测和解释全局和细粒度语义模式，从而能够准确区分正常和异常实例，展现出潜在的通用异态检测能力，为异态检测开辟了新的方法。

Nov, 2023

通过分析最新的模型 GPT-4V，我们深入了解大型多模态模型（LMMs）的能力和特点，发现 GPT-4V 具有处理多种输入、具有广泛通用性的能力，以及通过理解图像上的视觉标记可以创造出新的人机交互方式。我们期望这项初步探索能够激发对下一代多模态任务形式、利用和增强 LMMs 以解决实际问题以及对多模态基础模型有更好理解的未来研究方向的启发。

Sep, 2023

TrafficVLM 是一种新颖的多模态密集视频字幕模型，用于车辆自我摄像机视角中对交通视频事件进行不同层次的空间和时间分析，生成精细描述，提出了一种条件组件和多任务微调范式来增强 TrafficVLM 的学习能力，将其应用于 AI City Challenge 2024 的 Track 2 获得了杰出的成绩，排名第三。

Apr, 2024

通过将 ChatGPT 和交通基础模型相结合，TrafficGPT 在交通管理领域中不仅推动了交通管理的进步，也为在该领域利用人工智能能力提供了一种新的方法。

Sep, 2023

交通事故一直是交通安全领域的研究重点，然而以往的研究往往孤立进行，缺少综合性的交通安全分析与预防框架。为了填补这一空白，本研究引入了 AccidentGPT，这是一个综合事故分析和预防的多模态大型模型，通过多传感器感知提供全面的事故分析和预防方法，支持自动驾驶车辆、人驾驶车辆和交通管理机构的安全需求。该模型首次将全面场景理解融入交通安全研究。

Dec, 2023