Jun, 2024

图像能否代表千言万语？深入探究视觉语言模型的空间推理

PDF
TL;DR大型语言模型和视觉 - 语言模型在广泛的任务和领域表现出了显著的优异性能，但空间理解和推理（人类认知的基本组成部分）仍然未得到充分利用。通过开发多方面的空间推理基准，如关系理解、导航和计数，我们对具有竞争力的语言模型和视觉 - 语言模型进行全面评估。我们的发现揭示了几个在文献中被忽视的反常见观点：（1）空间推理带来了重大挑战，竞争模型可能不如随机猜测；（2）尽管有额外的视觉输入，视觉 - 语言模型通常表现不如纯语言模型；（3）当文本和视觉信息都可用时，如果提供足够的文本线索，多模态语言模型对视觉信息的依赖程度降低。此外，我们证明了利用视觉和文本之间的冗余可以显著提高模型性能。我们希望我们的研究能够为改进空间智能并进一步缩小与人类智能之间的差距的多模态模型的发展提供启示。
发现论文，激发创造
  • SpatialVLM：赋予视觉语言模型空间推理能力

    通过在互联网规模的空间推理数据上训练 Visual Language Model（VLM），我们显著增强了其在定量和定性空间 VQA 方面的能力，并实现了链式思维空间推理和机器人学等新颖应用。

    Jan, 2024

  • 多模态视觉语言模型中的基于实体的视觉空间推理

    利用大规模视觉语言模型评估其在不同视觉推理任务中的性能，特别是在理解空间关系方面的能力的研究。通过细粒度的组合性先验来解决空间关系推理任务的评估和排名，结合物体及其位置的核心语义来计算空间子句的最终评分，并比较不同视觉语言模型在空间关系推理方面的能力。

    Aug, 2023

  • 视觉语言模型是否能够成为良好猜测器？探索 VLM 的时间和位置推理能力

    本文通过引入 WikiTiLo 数据集，并实施两阶段的识别和推理探测任务，研究基于大规模图像 - 文本资源预训练的视觉语言模型是否能够像人类一样通过视觉线索推断图像的时间和地点，并发现 VLMs 虽然能够有效地保留视觉编码器中的相关特征，但仍然无法进行完美的推理。

    Jul, 2023

  • 思维可视化激发大型语言模型的空间推理

    大型语言模型中的空间推理能力相对较少探索，在本文中，我们提出了一种名为 Thought 可视化的方法，通过可视化语言模型的推理轨迹来引导后续的推理步骤，实验证明 Thought 可视化显著增强了语言模型的空间推理能力，并且在多跳空间推理任务中表现优于现有的多模态大型语言模型。

    Apr, 2024

  • 视觉空间推理

    本研究提出 Visual Spatial Reasoning（VSR）数据集，这是包含超过 10k 已标注的英文自然文本图像对和 66 种空间关系的数据集，研究表明当前视觉语言模型只能达到约 70％的准确率，无法识别有关物体朝向的关系。

    Apr, 2022

  • 视觉语言模型中的问题：探究其在空间推理方面的挑战

    通过创造新的语义理解基准数据集，研究表明近期的视觉 - 语言模型在识别基本空间关系方面表现较差，这是由于常用的数据集如 VQAv2 中缺乏关于学习空间关系的可靠数据来源。

    Oct, 2023

  • TopViewRS: 视觉 - 语言模型作为俯视空间推理器

    基于 TopViewRS 数据集，评估了代表性的开源和闭源可见语言模型在不同复杂度的感知和推理任务上的表现，并发现其性能明显低于人类平均水平，强调了提升模型在地理空间推理方面的能力的迫切需求，并为进一步研究出路提供了基础。

    Jun, 2024

  • 学习定位对象提高视觉语言模型的空间推理能力

    将大型语言模型（LLM）整合到视觉领域任务中，从而形成视觉 - LLM（V-LLM），在视觉问答（VQA）等视觉语言任务中实现了卓越的性能。通过基于图像坐标的指导微调目标，我们探索了如何为 V-LLM 注入空间意识，包括发现最佳坐标表示、数据效率的指导微调目标和伪数据生成策略。我们的模型在图像和视频领域提升了 VQA 性能，减少了不必要的幻觉，并生成了更好的上下文对象描述。通过涉及 14 个不同数据集的 5 个视觉语言任务的实验，验证了我们提出的框架明显的性能改进。

    Apr, 2024

  • 智能视觉演绎推理有多远？

    近期，Vision-Language Models (VLMs) 取得了惊人的进展，但在基于视觉的演绎推理方面仍存在尚未发现的局限性。采用 Raven's Progressive Matrices (RPMs) 测试了几种热门的 VLMs 的能力，结果表明，虽然 VLMs 在文本推理方面表现出色，但在视觉演绎推理方面还有很大提升空间。详细分析揭示出 VLMs 在解决这些任务时主要困难在于无法感知和理解 RPM 示例中的多个、混淆的抽象模式。

    Mar, 2024

  • GSR-BENCH: 通过多模态的 LLM 评估接地式空间推理的基准

    这篇研究报告通过扩展 What'sUp 数据集，提出了一个全面的评估方法用于空间关系理解，并对 27 种不同模型的性能进行了评估，其中包括早期的视觉语言模型（VLMs）和三类多模态语言模型（MLLMs），以验证其在任务中的表现和研究其规模的变化规律。

    Jun, 2024