Sep, 2024

交通工程问题的视觉语言模型评估与比较

HTML
PDF
TL;DR本研究针对视觉语言模型在交通工程任务中的应用，探讨了现有模型在图像分类和目标检测中的表现，特别是拥堵检测和裂缝识别。通过采用零-shot 提示方法评估多种开源和闭源模型，发现尽管这些模型在图像分类任务中表现与传统卷积神经网络相当，但在目标定位上仍需改进，为未来研究提供了基准和改进方向。
发现论文，激发创造
  • MiniVLM: 一个更小更快的视觉语言模型

    本文提出MiniVLM，一个轻量、快速的视觉-语言模型，采用two-stage efficient feature extractor和MiniLM结构。MiniVLM与大型模型相比，模型大小减少73％，推理时间成本降低94％，在多个视觉-语言任务上准确率保持94-97％。希望MiniVLM可以用于边缘应用。

    Dec, 2020

  • VinVL: 重访视觉表征在视觉语言模型中的应用

    本文通过提出一种改进的物体检测模型，生成具有更丰富视觉对象和概念的物体中心表示，从而显着提高了视觉语言任务的性能，并在七个公共基准测试中创造了新的最先进结果。

    Jan, 2021

  • 视觉任务的视觉语言模型综述

    本文系统回顾了基于语言的视觉模型在各种视觉识别任务中的应用，并总结了广泛采用的网络结构、预训练目标和下游任务，以及预训练和评估中广泛采用的数据集，并回顾和分类现有的预训练方法、传输学习方法和知识蒸馏方法。

    Apr, 2023

  • 自动驾驶和智能交通系统中的视觉语言模型

    该研究论文综述了视觉语言模型在自动驾驶和智能交通系统领域的应用，包括当前模型和数据集，并探讨了潜在的应用和新兴的研究方向，同时详细讨论了挑战和研究空白。该论文旨在向研究人员提供有关VLM在自动驾驶和智能交通系统中的最新工作和未来趋势。

    Oct, 2023

  • GPT-4V(ision)自动驾驶中的视觉语言模型的早期探索

    该研究论文评估了最新的先进视觉语言模型（VLM）在自动驾驶场景中的应用，发现该模型在场景理解和因果推理方面表现出优越性能，但在方向辨别、交通信号识别、视觉对接以及空间推理任务方面仍存在挑战。

    Nov, 2023

  • 近期大型视觉-语言模型的有效性评估

    大视觉语言模型在专业任务和通用任务中的效能进行综合评估，发现它们在专业任务和通用任务中均表现有限，可能的因素包括专业任务认知有限、物体幻觉、文本与图像的干扰以及在复杂问题中的鲁棒性降低。

    Mar, 2024

  • 为何视觉与语言结合的模型在图像分类上不佳？

    基于本文的研究发现，将分类聚焦的数据集整合到可视语言模型的训练中可以提高其分类性能，并将性能提升转移到其一般能力上，对于新收集的ImageWikiQA数据集，准确率提高了11.8%。

    May, 2024

  • 视觉语言基础模型中的运动预测中的难例检测

    该研究探讨了使用Vision-Language Foundation Models（VLMs）在自动驾驶中检测困难案例的潜力，并展示了VLMs在交通参与者运动预测中检测困难案例的能力。通过VLMs检测困难案例，进一步提高了现有运动预测流程的训练效率。

    May, 2024

  • 响应广泛关闭：基本视觉语言模型能力中的惊人观察

    本研究旨在揭示当前最先进视觉语言模型（VLMs）在基本视觉任务上的局限性，如物体分类、空间排列理解和物体实例划分。通过构建一系列测试，比较常规性能与特征直接训练的探测器性能，本研究发现了VLMs反应中的新缺陷，提出了改进未来VLM模型的重要见解。

    Aug, 2024

  • 利用多模态大语言模型推动交通目标检测的进展：综合评审与实证测试

    本研究旨在全面评审并实证评估多模态大语言模型（MLLMs）在交通系统目标检测中的应用。研究指出MLLM在不同交通场景目标检测中的有效性与局限性，并通过实证分析测试其在实际交通问题中的表现，揭示其优缺点，为未来研究提供了方向和路线图。

    Sep, 2024