研究大型语言模型在图上的指令调优
本文旨在探索使用大型语言模型(LLMs)进行图机器学习的潜力,特别是节点分类任务,并调查两种潜在的流程:LLMs作为增强器和LLMs作为预测器。通过全面而系统的研究,我们获得了原创性观察并发现新的见解,为利用LLMs进行图学习提供了新的可能性和有希望的方向。
Jul, 2023
在该研究中,我们通过对大型语言模型在图预测任务的性能进行实验,评估它们是否能有效处理图数据并利用拓扑结构提高性能;通过与专门的图神经网络进行比较,我们对大型语言模型在图分析中的优势和局限性提供了见解,并为将它们应用于图分析提供了进一步的探索方向。
Oct, 2023
我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力,通过发展面向图结构知识的大型语言模型(LLMs),并利用图指示调整范式来与图结构知识建立联系,探索自我监督的图结构信号和任务特定的图指示,从而引导LLMs在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估,展示了优越的泛化能力,并超过了最先进的基准模型。
Oct, 2023
利用大型语言模型和图表示学的集成标志着复杂数据结构分析的重大进展,通过利用LLM的先进语言能力来改善图模型的上下文理解和适应性,从而拓宽了GRL的范围和潜力。本研究通过提出一种新颖的分类法,深入分析了LLM与GRL之间的核心组成部分和操作技术,填补了目前缺乏的综述研究。我们进一步将近期文献分解为两个主要组成部分,包括知识提取器和整理器,以及两种操作技术,包括集成和训练策略,以揭示有效的模型设计和训练策略,并探讨了这一新兴但尚未充分探索的领域的潜在未来研究方向,为持续进展提出了路径。
Feb, 2024
通过指令调整和偏好对齐,InstructGraph框架赋予大型语言模型(LLMs)图推理和生成能力。该框架中,我们首先提出了结构化格式化语言器来统一所有图数据,并且引入了图指令调整阶段来指导LLMs解决图推理和生成任务。最后,我们针对图任务中的潜在幻觉问题抽取了负例样本以进行偏好对齐,以提高模型输出的可靠性。通过多个图相关任务的广泛实验,InstructGraph实现了最佳性能,并且超过GPT-4和LLaMA2分别13%和38%以上。
Feb, 2024
通过提出一个名为GraphInstruct的基准测试以及GraphLM和GraphLM+模型的构建和实验,本文旨在评估和增强大型语言模型在图形理解和推理方面的能力。
Mar, 2024
提出了一种新颖的框架 MuseGraph,它无缝地整合了 GNN 和 LLM 的优势,通过自适应输入生成和多样化的指令生成机制,以及针对不同任务和数据集的图感知指令调优,提高了图任务的准确性,并保持了 LLM 的生成能力。
Mar, 2024
通过综述最新的最先进的用于图学习的大型语言模型,我们引入了一种新的分类方法,详细阐述了四种独特的设计,并探讨了每种框架的优势和局限性,同时强调了未来研究的潜在方向。
May, 2024
该论文研究了将图模态集成到大型语言模型中,以提升其在图解指令任务中的性能表现,并通过图嵌入训练模型,使其能够理解和基于图表示生成回答。该方法在性能上显著优于图文方法,并且对于较大的图结构保持一致。
May, 2024