本研究提出了使用大型语言模型和图模型相结合的方法来学习文本属性图 (TAG),通过将大型语言模型的能力提取到本地图模型上,以解决大型语言模型的可扩展性、成本和隐私问题,并通过丰富的文本理由教授解释器,然后让学生模型模仿解释器的推理来弥补大型语言模型和图模型之间的固有差距。通过广泛实验证明了该方法的有效性。
Feb, 2024
本研究提出了 LinkGPT,首个用于链接预测任务的端到端训练的大型语言模型 (LLM),通过有效整合结构信息和解决效率问题,在真实世界的图和零样本学习中取得了领先水平的性能。
Jun, 2024
我们提出了 UniGraph 框架,通过使用文本属性图(TAGs)来训练图基础模型,实现对未见过的图和任务在不同领域中的泛化能力。我们的方法采用了级联的语言模型(LMs)和图神经网络(GNNs)构建的骨干网络以及基于掩码图建模(MGM)的自我监督训练目标,并引入大型语言模型(LLMs)进行图指令调优,进而使模型能够进行零样本预测。在各种图学习任务和领域的全面实验证明了我们模型在未见过的图的自我监督表示学习、少样本上下文转移和零样本转移方面的有效性,甚至超越或匹配了在目标数据集上进行受监督训练的 GNNs 的性能。
图形语言模型(GLM)集成了线性文本模型(LM)和图神经网络(GNN)的优点,同时减轻它们的弱点,在有监督和零样本情况下,在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。
Jan, 2024
通过自我监督的对比学习方法,我们介绍了一种新颖的统一图语言模型 (UniGLM) 框架,用于在多个领域和规模上进行多个文本 - 属性图 (Tag) 的联合微调,实现更好的泛化和转移学习能力。
通过综述最新的最先进的用于图学习的大型语言模型,我们引入了一种新的分类方法,详细阐述了四种独特的设计,并探讨了每种框架的优势和局限性,同时强调了未来研究的潜在方向。
May, 2024
通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾,我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点,并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后,我们提出了这一快速发展领域的潜在未来研究方向。
Dec, 2023
我们提出了 InstructGLM(指导调整的图语言模型),基于自然语言说明系统地设计高度可扩展的提示,使用自然语言描述图的几何结构和节点特征,通过指导调优语言模型以一种生成方式在图上执行学习和推理,超过了所有竞争的 GNN 基准数据集,证明了我们方法的有效性,并为将生成语言模型替代 GNN 作为图机器学习的基础模型提供了启示。
Aug, 2023
通过 Disentangled Graph-Text Learner (DGTL) 模型,结合图结构信息和大型语言模型,提升了对文本属性图的推理能力和预测能力,并且通过提供自然语言解释来显著提高模型的解释性。
Oct, 2023
通过使用链式思维促进和上下文学习,该研究介绍了一种新方法,即知识图大型语言模型框架(KG-LLM),以提高知识图中多跳链接预测的效果。实验证明,集成上下文学习和链式思维不仅增加了方法的性能,而且显著提高了模型的泛化能力,从而在陌生情境中实现更准确的预测。
Mar, 2024