用于图指导调优的联合嵌入
本研究探讨了如何更好地将图形数据与大型语言模型(LLMs)整合,并提出了一种使用各种编码模态(例如文本、图像和模体)和使用不同提示方法来增强 LLMs 在处理复杂图形结构方面的有效性的新方法。研究还介绍了 GraphTMI,这是一个用于评估 LLMs 在图结构分析方面的新基准,重点关注同质性、模体存在和图形难度等因素。关键发现揭示了图像模态在限制令牌的同时保留关键信息方面的更高效性,而且支持由 GPT-4V 等先进视觉语言模型。该研究还考察了不同因素对每种编码模态性能的影响。此研究强调了当前 LLMs 在图形理解和推理任务中的现有限制,并规划了未来的方向。
Nov, 2023
本文探讨了在图推理任务中将视觉信息与文本信息相结合的可行性,并使用基准测试 GITQA 以及多模态 LLM 模型进行了实验证明了在图推理任务中使用文本和视觉信息相结合要好于单一模态。
Feb, 2024
我们提出了 InstructGLM(指导调整的图语言模型),基于自然语言说明系统地设计高度可扩展的提示,使用自然语言描述图的几何结构和节点特征,通过指导调优语言模型以一种生成方式在图上执行学习和推理,超过了所有竞争的 GNN 基准数据集,证明了我们方法的有效性,并为将生成语言模型替代 GNN 作为图机器学习的基础模型提供了启示。
Aug, 2023
图形语言模型(GLM)集成了线性文本模型(LM)和图神经网络(GNN)的优点,同时减轻它们的弱点,在有监督和零样本情况下,在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。
Jan, 2024
本文旨在探索使用大型语言模型(LLMs)进行图机器学习的潜力,特别是节点分类任务,并调查两种潜在的流程:LLMs 作为增强器和 LLMs 作为预测器。通过全面而系统的研究,我们获得了原创性观察并发现新的见解,为利用 LLMs 进行图学习提供了新的可能性和有希望的方向。
Jul, 2023
在该研究中,我们通过对大型语言模型在图预测任务的性能进行实验,评估它们是否能有效处理图数据并利用拓扑结构提高性能;通过与专门的图神经网络进行比较,我们对大型语言模型在图分析中的优势和局限性提供了见解,并为将它们应用于图分析提供了进一步的探索方向。
Oct, 2023
在 LLMs 时代,通过综述文章,我们首先回顾了图机器学习的最新发展,然后探讨了 LLMs 如何提高图特征的质量,减少对标记数据的依赖,并解决图的异质性和分布外泛化等挑战。此外,我们研究了图如何增强 LLMs,并突出它们在 LLMs 的预训练和推理中的能力。最后,我们探讨了这个有前景的领域的各种应用和潜在的未来方向。
Apr, 2024
通过 GraphPrompter 框架,将 Large Language Models(LLMs)与图形模态对齐,实现了 LLMs 在图相关任务中的重要性和效果。
Feb, 2024
通过指令调整和偏好对齐,InstructGraph 框架赋予大型语言模型(LLMs)图推理和生成能力。该框架中,我们首先提出了结构化格式化语言器来统一所有图数据,并且引入了图指令调整阶段来指导 LLMs 解决图推理和生成任务。最后,我们针对图任务中的潜在幻觉问题抽取了负例样本以进行偏好对齐,以提高模型输出的可靠性。通过多个图相关任务的广泛实验,InstructGraph 实现了最佳性能,并且超过 GPT-4 和 LLaMA2 分别 13% 和 38% 以上。
Feb, 2024