通过整合图像编码和多模态技术，将图数据理解和推理的范式与 GPT-4V 的先进能力相结合，以指令 - 响应格式实现对图数据的理解，评估该范式在不同图类型上的性能并强调模型的优势和劣势，特别是中文 OCR 性能和复杂推理任务，为增强图数据处理和自然语言交互提供了新方向。

Dec, 2023

大型多模态模型（LMMs）在视觉理解和推理方面取得了令人瞩目的成功，显著提高了数学推理在视觉环境中的性能。然而，多模态图理论问题是一类具有挑战性的视觉数学问题，要求 LMMs 准确理解图形结构并在视觉图上进行多步推理。我们首次设计了一个名为 VisionGraph 的基准，用于探索先进 LMM 在解决多模态图论问题方面的能力。它包括八个复杂的图问题任务，从连通性到最短路径问题。随后，我们提出了一个描述 - 编程 - 推理（DPR）链，在图形结构描述生成和算法感知的多步推理过程中提高了逻辑准确性。我们的广泛研究表明：1）GPT-4V 在多步图推理方面优于 Gemini Pro；2）无论在零 / 少样本设置还是在受监督微调（SFT）中，所有 LMM 在图形结构的感知准确性方面表现较差，这进一步影响了问题解决的性能；3）DPR 显著提高了 LMM 的多步图推理能力，GPT-4V（DPR）代理达到了 SOTA 性能。

May, 2024

本文探讨了在图推理任务中将视觉信息与文本信息相结合的可行性，并使用基准测试 GITQA 以及多模态 LLM 模型进行了实验证明了在图推理任务中使用文本和视觉信息相结合要好于单一模态。

Feb, 2024

通过辩论动态理论提出了一种自动推理知识图谱的新方法，以三段式分类为例，该方法基于增强学习代理和二进制分类器解释和预测关于知识图谱中观点真实性的辩论证据，从而可用于知识图谱的推理和链接预测，实验表明该方法优于其他基线模型。

Jan, 2020

本文研究了基于视频对话生成，提出一种方法，可以将视频数据集成到预训练语言模型中，通过多模态推理实现各种模态之间的互补信息，实验结果表明，该模型能够在自动和人工评估方面显著优于现有的最先进模型。

Oct, 2022

本文提出了一种基于 DPG 表示的图表结构模型，探究了图表的句法分析学习与语义解释推理等问题，并在 5000 多张图表的数据集上验证了该模型的有效性。

Mar, 2016

白板思维引导是一个简单的方法，可以解锁多模态大型语言模型在视觉推理方面的能力，通过提供 “白板” 以图像形式呈现推理步骤，然后将这些图像返回给模型进行进一步处理。该方法在涉及视觉和空间推理的四个自然语言任务方面展现了最先进的结果，同时解决了 GPT-4o 使用思维链的多个失败场景，并在这些相同场景中实现了 92% 的准确率。

Jun, 2024

提出了一种基于辩论动态的知识图谱事实检查新方法，利用强化学习代理抽取路径来论证事实真假，并通过二元分类器判断真假；该方法可解释用户决策，允许用户参与推理和评估辩论，提高各类基于知识图谱的人工智能应用的接受度、效率、稳健性和公正性。

Jan, 2020

本研究介绍了基于知识图谱的多模式类比推理任务，并通过构建 Multimodal Analogical Reasoning 数据集和 Multimodal knowledge graph MarKG 进行评估。研究表明，从多模态源获取信息可以带来比单模态源更强大的认知转移，该研究进一步提出了一种基于结构映射理论的新型通用 Transformer 框架（MarT），能够取得更好的性能。

Oct, 2022

在线辩论中，采用了序列 - 图方法来建模和分析参与者之间的互动，结果表明序列图网络在在线辩论中获得了比现有方法更好的结果。

Jun, 2024