NT-LLM:一种新颖的节点标记器,用于将图结构整合到大型语言模型中
本文旨在探索使用大型语言模型(LLMs)进行图机器学习的潜力,特别是节点分类任务,并调查两种潜在的流程:LLMs作为增强器和LLMs作为预测器。通过全面而系统的研究,我们获得了原创性观察并发现新的见解,为利用LLMs进行图学习提供了新的可能性和有希望的方向。
Jul, 2023
该研究探讨了大型语言模型(LLMs)在结构化数据(尤其是图形)上的应用,旨在理解何时以及为何将图形数据中固有的结构信息纳入到LLMs的节点分类任务中可以提高预测性能。
Sep, 2023
在该研究中,我们通过对大型语言模型在图预测任务的性能进行实验,评估它们是否能有效处理图数据并利用拓扑结构提高性能;通过与专门的图神经网络进行比较,我们对大型语言模型在图分析中的优势和局限性提供了见解,并为将它们应用于图分析提供了进一步的探索方向。
Oct, 2023
利用大型语言模型在图学习任务中的潜力,本研究探索了如何利用信息检索和文本生成能力来提高文本属性图的拓扑结构,进而增强节点分类的性能。通过节点属性的语义相似度,采用大型语言模型来删除不可靠的边并添加可靠的边,以及利用大型语言模型生成的伪标签改善图的拓扑结构。实验证明使用大型语言模型进行图拓扑改善在公共基准测试中提升了0.15%至2.47%的性能。
Nov, 2023
利用大型语言模型和图表示学的集成标志着复杂数据结构分析的重大进展,通过利用LLM的先进语言能力来改善图模型的上下文理解和适应性,从而拓宽了GRL的范围和潜力。本研究通过提出一种新颖的分类法,深入分析了LLM与GRL之间的核心组成部分和操作技术,填补了目前缺乏的综述研究。我们进一步将近期文献分解为两个主要组成部分,包括知识提取器和整理器,以及两种操作技术,包括集成和训练策略,以揭示有效的模型设计和训练策略,并探讨了这一新兴但尚未充分探索的领域的潜在未来研究方向,为持续进展提出了路径。
Feb, 2024
LLaGA是一个创新的模型,它将大型语言模型的能力与处理图结构数据的复杂性相结合,通过重新组织图节点并将其映射到标记嵌入空间来实现。LLaGA在不同数据集和任务上表现出色,能够一次性使用一个模型,在受监督和零样本情况下超越最先进的图模型。
Feb, 2024
针对文本丰富的图表,我们引入了一种新方法——图感知参数高效微调(GPEFT),通过利用图神经网络(GNN)编码邻居节点的结构信息生成图提示,插入到文本序列的开头,从而实现了高效的图表示学习。通过在8个不同的文本丰富的图表上进行全面实验证明了该方法的有效性和高效性,在链接预测评估中平均提升了2%的hit@1和平均倒数排名(MRR),同时表明可以与多种大型语言模型无缝集成,包括OPT、LLaMA和Falcon。
Apr, 2024
通过综述最新的最先进的用于图学习的大型语言模型,我们引入了一种新的分类方法,详细阐述了四种独特的设计,并探讨了每种框架的优势和局限性,同时强调了未来研究的潜在方向。
May, 2024
该论文介绍了一种新的框架LangTopo,通过构建代码簿量化了GNN和LLM的图结构建模能力,并通过一致性最大化的过程将LLM的文本描述与GNN的拓扑建模对齐,使LLM能够学习捕捉图结构的能力,从而能够独立处理图结构化数据。通过在多个数据集上展示我们提出的方法的有效性。
Jun, 2024
本研究解决了现有大型语言模型在处理图结构数据时,主要关注文本特征而忽视图结构的问题。通过引入图理解的自然语言驱动分析模型(GUNDAM),增强了大型语言模型对图数据结构的理解,从而能更好地执行复杂的推理任务。实验结果显示,GUNDAM在图推理基准测试中优于现有最先进的方法,揭示了影响推理能力的关键因素。
Sep, 2024