Dec, 2023
图数据与多模态相遇:图理解与推理的新范式
When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding and Reasoning
Qihang Ai, Jianwu Zhou, Haiyun Jiang, Lemao Liu, Shuming Shi
TL;DR通过整合图像编码和多模态技术,将图数据理解和推理的范式与 GPT-4V 的先进能力相结合,以指令 - 响应格式实现对图数据的理解,评估该范式在不同图类型上的性能并强调模型的优势和劣势,特别是中文 OCR 性能和复杂推理任务,为增强图数据处理和自然语言交互提供了新方向。