Mar, 2024

IllusionVQA：一个为视觉语言模型设计的具有挑战性的视错觉数据集

PDF
TL;DRVision Language Models are tested on the IllusionVQA dataset, revealing their performance and weaknesses in comprehension and soft localization tasks, particularly in the context of optical illusions and In-Context Learning.
发现论文，激发创造
  • HallusionBench: 视觉与图像上下文推理基准测试，对 GPT-4V (ision)，LLaVA-1.5 和其他多模态模型构成挑战

    通过研究图像上下文推理基准测试 HallusionBench，揭示了 VLM（Vision-Language Model）的幻觉和视觉错觉，并在未来改进中提出了新的见解。

    Oct, 2023

  • 以语言为基础的视错觉衔接：视觉 - 语言模型是否像人类一样感知错觉？

    通过构建包含五种视觉错觉的数据集并制定四项任务，研究发现，虽然整体对齐性较低，但更大的模型更接近人类感知且更容易受到视觉错觉的影响，这将促进对人类和机器中的视觉错觉有更深入的理解，并为未来能够更好地使人类和机器在感知和交流共享的视觉世界方面达到一致的计算模型提供基础。

    Oct, 2023

  • 构建多语言视觉文本数据集揭示视觉语言模型的多语言能力

    我们通过模板构建了四种语言的多语言视觉文本数据集，介绍了九项视觉语言任务，并引入了解释机制以评估大型语言模型在视觉语言任务上的表现。

    Mar, 2024

  • 迷失在翻译中：当 GPT-4V (ision) 无法与文字心有灵犀。VLLMs 及更多的视觉语言一致性分析

    通过对多模态机制的详细分析，揭示了 GPT-4V 等模型执行视觉和语言任务的一致性与独立性，并引入了一种名为 “Vision Description Prompting” 的方法，有效提高了具有挑战性的视觉相关任务的性能。

    Oct, 2023

  • 过度自信是关键：大型语言和视觉 - 语言模型中的口头不确定性评估

    该论文评估了语言和视觉 - 语言模型的可靠性，并提出了新的日本不确定场景数据集以及测量校准误差的方法。结果表明，语言和视觉 - 语言模型都存在较高的校准误差，并且大部分时间都表现出过度自信，说明其对不确定性估计的能力较弱。此外，研究还发展了回归任务的提示方法，并证明视觉 - 语言模型在生成均值 / 标准差和 95% 置信区间时存在校准不良。

    May, 2024

  • 令人惊讶的失败？多模态 LLMs 与 NLVR 挑战

    本研究评估了三种最先进的 MLLM 模型：GPT-4V，Gemini Pro 和开源模型 IDEFICS，在组合自然语言视觉推理任务 NLVR 上的表现。尽管这些模型表现出很强的性能，但我们观察到它们在 NLVR 上表现不佳，该任务要求组合和空间推理，并对语义和系统偏见具有鲁棒性。

    Feb, 2024

  • 超越人类视角：大型视觉语言模型在显微镜图像分析中的作用

    在这项研究中，我们对 ChatGPT、LLaVA、Gemini 和 SAM 进行了分类、分割、计数和 VQA 任务，发现 ChatGPT 和 Gemini 能够令人印象深刻地理解显微镜图像中的视觉特征，而 SAM 则在一般情况下具备分离伪影的能力，但性能还不如领域专家 - 这些模型在图像中存在的杂质、缺陷、伪影重叠和多样性的引入会给其带来困扰。

    May, 2024

  • 为何视觉与语言结合的模型在图像分类上不佳？

    基于本文的研究发现，将分类聚焦的数据集整合到可视语言模型的训练中可以提高其分类性能，并将性能提升转移到其一般能力上，对于新收集的 ImageWikiQA 数据集，准确率提高了 11.8%。

    May, 2024

  • 视觉语言模型的零样本识别挑战：粒度和正确性

    本文研究视觉与语言模型在零样本视觉识别任务中的应用难点，并针对对比视觉 - 语言模型（CLIP）等模型进行探讨。研究表明，模型更擅长识别细粒度概念，并且相似度评分并不能严格反映相应文本描述的准确性。作者提出了评价方法，以评估其学习性偏差问题，并发现相似的模糊描述很容易被模型混淆识别。本研究凸显了在开放环境下使用视觉与语言模型的挑战，并为进一步提高其零样本能力提出了方向建议。

    Jun, 2023

  • VIPHY：探究 “可见” 的物理常识知识

    本研究使用自动管道方法研究了视觉 - 语言模型在获取 “可见” 物理知识方面的能力，并发现这些模型在物体颜色，大小和空间三个方面的表现与人类存在明显差距。而采用预训练的基线模型 (CapBERT) 可以取得更好的表现。

    Sep, 2022