用于图指导调优的联合嵌入
本文旨在探索使用大型语言模型(LLMs)进行图机器学习的潜力,特别是节点分类任务,并调查两种潜在的流程:LLMs作为增强器和LLMs作为预测器。通过全面而系统的研究,我们获得了原创性观察并发现新的见解,为利用LLMs进行图学习提供了新的可能性和有希望的方向。
Jul, 2023
我们提出了InstructGLM(指导调整的图语言模型),基于自然语言说明系统地设计高度可扩展的提示,使用自然语言描述图的几何结构和节点特征,通过指导调优语言模型以一种生成方式在图上执行学习和推理,超过了所有竞争的GNN基准数据集,证明了我们方法的有效性,并为将生成语言模型替代GNN作为图机器学习的基础模型提供了启示。
Aug, 2023
我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力,通过发展面向图结构知识的大型语言模型(LLMs),并利用图指示调整范式来与图结构知识建立联系,探索自我监督的图结构信号和任务特定的图指示,从而引导LLMs在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估,展示了优越的泛化能力,并超过了最先进的基准模型。
Oct, 2023
本研究探讨了如何更好地将图形数据与大型语言模型(LLMs)整合,并提出了一种使用各种编码模态(例如文本、图像和模体)和使用不同提示方法来增强LLMs在处理复杂图形结构方面的有效性的新方法。研究还介绍了GraphTMI,这是一个用于评估LLMs在图结构分析方面的新基准,重点关注同质性、模体存在和图形难度等因素。关键发现揭示了图像模态在限制令牌的同时保留关键信息方面的更高效性,而且支持由GPT-4V等先进视觉语言模型。该研究还考察了不同因素对每种编码模态性能的影响。此研究强调了当前LLMs在图形理解和推理任务中的现有限制,并规划了未来的方向。
Nov, 2023
利用大型语言模型和图表示学的集成标志着复杂数据结构分析的重大进展,通过利用LLM的先进语言能力来改善图模型的上下文理解和适应性,从而拓宽了GRL的范围和潜力。本研究通过提出一种新颖的分类法,深入分析了LLM与GRL之间的核心组成部分和操作技术,填补了目前缺乏的综述研究。我们进一步将近期文献分解为两个主要组成部分,包括知识提取器和整理器,以及两种操作技术,包括集成和训练策略,以揭示有效的模型设计和训练策略,并探讨了这一新兴但尚未充分探索的领域的潜在未来研究方向,为持续进展提出了路径。
Feb, 2024
通过GraphPrompter框架,将Large Language Models(LLMs)与图形模态对齐,实现了LLMs在图相关任务中的重要性和效果。
Feb, 2024
通过综述最新的最先进的用于图学习的大型语言模型,我们引入了一种新的分类方法,详细阐述了四种独特的设计,并探讨了每种框架的优势和局限性,同时强调了未来研究的潜在方向。
May, 2024
本研究针对大型语言模型在图相关任务中的应用,填补了现有研究的空白。我们提出了一种新的数据集,包含79个图任务,并发现JSON格式在图表示上对语言模型的理解效果最佳。这一发现为如何有效使用大型语言模型处理复杂图结构提供了实证依据,具有重要的应用潜力。
Aug, 2024
本研究解决了语言模型在图学习任务中效果不及领域专用模型的困境。提出了一种新的方法,使现成的语言模型在节点分类任务上能够达到与最先进的图神经网络相媲美的性能,而无需架构改动。实验结果显示,经过增强策略处理的Flan-T5模型超越了最先进的文本输出节点分类器,并与顶尖的向量输出节点分类器表现相当,推动了更为通用的图学习模型的发展。
Oct, 2024
本研究解决了大型语言模型在处理图形任务时无法捕捉复杂结构信息的挑战。提出了一种新颖的节点标记器NT-LLM,通过选择关键节点并基于相对距离进行编码,能够有效捕捉图形拓扑信息,显著提高模型的推理能力和性能。这一方法具有更好的实用性和应用潜力。
Oct, 2024