Jun, 2024

GPT-4V 探索：挖掘自动驾驶

PDF
TL;DR本论文探讨了将 GPT-4V 视觉语言模型应用于矿山环境中的自动驾驶，它能够理解意图并在紧急情况下做出准确决策。通过视觉问答和复杂场景理解，GPT-4V 解决了这些特殊环境下的挑战，如识别和解释行人、各种车辆和交通设备等元素。尽管 GPT-4V 在准确识别特定车型和管理动态交互方面存在困难，但其有效的导航和策略决策展示了其在矿山环境复杂条件下作为可靠自动驾驶代理的潜力，凸显了其在工业环境中的适应性和可操作性。
gpt-4v(ision)autonomous drivingmining environmentsscene comprehensiontraffic devices
发现论文，激发创造
  • GPT-4V (ision) 自动驾驶中的视觉语言模型的早期探索

    该研究论文评估了最新的先进视觉语言模型（VLM）在自动驾驶场景中的应用，发现该模型在场景理解和因果推理方面表现出优越性能，但在方向辨别、交通信号识别、视觉对接以及空间推理任务方面仍存在挑战。

    Nov, 2023

  • GPT-4V 作为交通助手：对复杂交通事件的视觉语言模型的深入研究

    通过使用 GPT-4V 对代表性交通事件视频进行实验，我们发现 GPT-4V 在某些经典交通事件中展现出了出色的认知、推理和决策能力，同时也发现了它在更复杂场景中的理解存在一定限制，这些限制值得进一步探索和解决。

    Feb, 2024

  • GPT-4V 掌控方向：对行人行为预测的承诺和挑战评估

    GPT-4V 在自动驾驶中利用公开可用的数据集 JAAD、PIE 和 WiDEVIEW 进行行人行为预测的评估，定量和定性评估证明了 GPT-4V 在零 - shot 行人行为预测和自动驾驶中的驾驶场景理解能力，但仍不及传统领域特定模型的最新成果，存在小行人和运动车辆处理困难等限制，需要进一步研究和发展。

    Nov, 2023

  • DriveGPT4: 大型语言模型实现可解释的端到端自动驾驶

    DriveGPT4 是一种可解释的端到端自动驾驶系统，利用大型语言模型，能够理解车辆行为、提供相应推理、回答用户的问题以增强交互，同时也能以端到端的方式预测车辆的低层控制信号，并且在多个任务中展现出优越的性能和通用性。

    Oct, 2023

  • GPT-4V（视觉）的早期评估

    GPT-4V 的能力和限制在视觉理解、语言理解、视觉拼图解决以及其他模态（如深度、热力、视频和音频）方面被评估，发现其在英语视觉基准上表现出色，但无法识别图像中的简单中文文本；在敏感特征问题、语言理解任务和类似图片之间差异的解决方面存在一些不一致性和限制，但通过少样本提示可以提高其性能；此外，在视频和热力等与图像类似的任务上表现出了非常好的性能。

    Oct, 2023

  • GPT-4V 在生物医学成像中的整体评价

    本研究介绍了针对生物医学图像分析的 GPT-4V 的大规模评估，评估了 GPT-4V 在医学成像领域的表现和局限性，包括放射学、肿瘤学、眼科学、病理学等 16 个医学成像类别的任务，结果显示 GPT-4V 在成像模态和解剖定位方面表现出色，但在疾病诊断和定位方面存在一定困难，而且在生成诊断报告方面表现优异，需要进一步提升和验证才能在临床应用前达到可靠，该研究推动对多模态大语言模型的理解，并指导未来工作在医疗应用方面的发展。

    Nov, 2023

  • GPT-4V 不适用于临床护理和教育：临床医生评估分析

    通过评估医学认证的医生和高级实习生对 GPT-4V 在多种医学状况下使用 CT 扫描、MRI、心电图和临床照片等成像方式的熟练程度，发现尽管 GPT-4V 能够识别和解释医学图像，但其诊断准确性和临床决策能力较差，对患者安全构成风险，因此在临床决策时使用时需要适当谨慎。

    Nov, 2023

  • GPT-4V (ision) 用于机器人：来自人类演示的多模态任务规划

    我们介绍了一种通过整合人类动作观察来增强通用视觉语言模型 GPT-4V (ision) 的流水线，以促进机器人操纵。该系统分析人类执行任务的视频，并创建包含可支配见解的可执行机器人程序。实验表明，该方法在实现从人类示范中的真实机器人操作方面具有显著效果。

    Nov, 2023

  • GPT-4V 作为视觉语言任务的通用评估器

    GPT-4V 在多模态任务的普遍评估方面展现出了巨大的潜力，尽管存在一些限制，但其与人类的一致性以及提供详细解释的能力为通用自动评估器提供了希望。

    Nov, 2023

  • GPT-4V (ision) 作为社交媒体分析引擎

    利用现有基准数据集对 GPT-4V 的五项任务进行定量分析，并选择有代表性的样本详细评估其在社交多媒体内容理解方面的潜力，结果显示 GPT-4V 在情感分析、仇恨言论检测、假新闻识别、人口推断和政治意识形态检测等任务上展现出显著的效果，并具备图像 - 文本配对的联合理解、文化和语境意识、以及广泛的常识知识，但在涉及多语言社交多媒体理解和对社交媒体最新趋势的泛化方面仍存在挑战，同时在涉及名人和政治家知识的持续发展背景下，会出现错误信息生成的倾向，这反映了已知的幻觉问题，研究结果表明，大型多模态模型在通过分析多模态信息来增进对社交媒体内容及其用户的理解方面具有巨大的潜力。

    Nov, 2023