ICMLMay, 2024

VisionGraph：在视觉环境下利用大型多模态模型解决图论问题

PDF
TL;DR大型多模态模型（LMMs）在视觉理解和推理方面取得了令人瞩目的成功，显著提高了数学推理在视觉环境中的性能。然而，多模态图理论问题是一类具有挑战性的视觉数学问题，要求 LMMs 准确理解图形结构并在视觉图上进行多步推理。我们首次设计了一个名为 VisionGraph 的基准，用于探索先进 LMM 在解决多模态图论问题方面的能力。它包括八个复杂的图问题任务，从连通性到最短路径问题。随后，我们提出了一个描述 - 编程 - 推理（DPR）链，在图形结构描述生成和算法感知的多步推理过程中提高了逻辑准确性。我们的广泛研究表明：1）GPT-4V 在多步图推理方面优于 Gemini Pro；2）无论在零 / 少样本设置还是在受监督微调（SFT）中，所有 LMM 在图形结构的感知准确性方面表现较差，这进一步影响了问题解决的性能；3）DPR 显著提高了 LMM 的多步图推理能力，GPT-4V（DPR）代理达到了 SOTA 性能。
发现论文，激发创造
  • 多模态大型语言模型中的图推理图渲染

    本文探讨了在图推理任务中将视觉信息与文本信息相结合的可行性，并使用基准测试 GITQA 以及多模态 LLM 模型进行了实验证明了在图推理任务中使用文本和视觉信息相结合要好于单一模态。

    Feb, 2024

  • 评估 GPT4-V 在结构化推理任务上的表现

    最近，GPT-4 语言模型与视觉能力相结合，我们对 GPT-4V 和其他五个基准模型进行了提示评估，包括数学推理、视觉数据分析和代码生成等结构化推理任务。我们发现视觉的 Chain-of-Thought，在多模态 LLMs 上的扩展，在基准模型上取得了显著的改进。我们还对这些模型表现良好和困难的情景进行了分类分析，突出了一致性多模态推理所面临的挑战。

    Dec, 2023

  • MathVerse: 您的多模式 LLM 真正看到视觉数学问题中的图表吗？

    通过引入 MathVerse 基准测试，我们深入评估多模态大型语言模型（MLLMs）在解决视觉数学问题方面的能力，并提出了链式思维（CoT）评估策略以评估输出答案的细微推理步骤，以期为 MLLMs 的未来发展提供独特的见解。

    Mar, 2024

  • 多模态知识图谱下的多模态推理

    提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。

    Jun, 2024

  • 图数据与多模态相遇：图理解与推理的新范式

    通过整合图像编码和多模态技术，将图数据理解和推理的范式与 GPT-4V 的先进能力相结合，以指令 - 响应格式实现对图数据的理解，评估该范式在不同图类型上的性能并强调模型的优势和劣势，特别是中文 OCR 性能和复杂推理任务，为增强图数据处理和自然语言交互提供了新方向。

    Dec, 2023

  • LMMs 初探：与 GPT-4V (ision) 的初步探索

    通过分析最新的模型 GPT-4V，我们深入了解大型多模态模型（LMMs）的能力和特点，发现 GPT-4V 具有处理多种输入、具有广泛通用性的能力，以及通过理解图像上的视觉标记可以创造出新的人机交互方式。我们期望这项初步探索能够激发对下一代多模态任务形式、利用和增强 LMMs 以解决实际问题以及对多模态基础模型有更好理解的未来研究方向的启发。

    Sep, 2023

  • 探索大型语言模型中图推理的局限性

    预训练大型语言模型通过仅基于语言的提示已经展示出各种类型的推理能力。然而，在本文中，我们通过图形推理问题测试了 5 种不同的 LLMs（GPT-4、GPT-3.5、Claude-2、Llama-2 和 Palm-2）的图形推理深度。我们设计了 10 个不同的图形遍历问题，每个问题代表了不断增加的复杂性水平。此外，我们分析了模型在不同设置下的性能，例如图形大小的变化以及不同形式的 k-shot 提示。我们通过此基准测试过程突出了 LLMs 的各种限制、偏见和属性，例如与图中每个节点遍历的自由度平均值呈反比关系，k-shot 提示对图形推理任务的整体负面影响以及积极的响应偏差，这使得 LLMs 无法识别有效解的缺失。最后，我们提出了一种专门针对图形遍历任务设计的新提示技术，称为 PathCompare，它在 LLMs 的性能方面与标准提示和 CoT 相比表现出显着增加。

    Feb, 2024

  • 智能视觉演绎推理有多远？

    近期，Vision-Language Models (VLMs) 取得了惊人的进展，但在基于视觉的演绎推理方面仍存在尚未发现的局限性。采用 Raven's Progressive Matrices (RPMs) 测试了几种热门的 VLMs 的能力，结果表明，虽然 VLMs 在文本推理方面表现出色，但在视觉演绎推理方面还有很大提升空间。详细分析揭示出 VLMs 在解决这些任务时主要困难在于无法感知和理解 RPM 示例中的多个、混淆的抽象模式。

    Mar, 2024

  • 增强大型语言模型的推理能力：一种基于图形的验证方法

    我们引入了一种基于图的方法来增强大型语言模型的推理能力，通过分析和验证由 LLMs 生成的解决方案，我们的实验结果表明，我们的基于图的验证方法不仅显著提高了 LLMs 的推理能力，而且在提高这些模型的推理性能方面优于现有的验证程序。

    Aug, 2023

  • 推进大型多模型：明确的推理链与视觉问题生成

    本文介绍了一种通过图像内容和文字指令进行显式推理的新方法，采用大型多模态模型（LMM），并引入了一个能够提问以获取必要知识以增强推理过程鲁棒性和可解释性的系统。实验结果表明我们的方法能够在面对模糊的视觉输入时，朝着更具鲁棒性、准确性和可解释性的 LMM 迈进。

    Jan, 2024