增强大型语言模型的图对齐
本文旨在探索使用大型语言模型(LLMs)进行图机器学习的潜力,特别是节点分类任务,并调查两种潜在的流程:LLMs作为增强器和LLMs作为预测器。通过全面而系统的研究,我们获得了原创性观察并发现新的见解,为利用LLMs进行图学习提供了新的可能性和有希望的方向。
Jul, 2023
我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力,通过发展面向图结构知识的大型语言模型(LLMs),并利用图指示调整范式来与图结构知识建立联系,探索自我监督的图结构信号和任务特定的图指示,从而引导LLMs在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估,展示了优越的泛化能力,并超过了最先进的基准模型。
Oct, 2023
通过提出一种新颖高效的方法 LEADING,实现了对大型语言模型在文本属性图(TAGs)上的端到端微调,具有比现有方法更高的计算和数据效率,为一系列大型语言模型和基于TAGs的图学习任务提供了有前景的解决方案。
Dec, 2023
通过指令调整和偏好对齐,InstructGraph框架赋予大型语言模型(LLMs)图推理和生成能力。该框架中,我们首先提出了结构化格式化语言器来统一所有图数据,并且引入了图指令调整阶段来指导LLMs解决图推理和生成任务。最后,我们针对图任务中的潜在幻觉问题抽取了负例样本以进行偏好对齐,以提高模型输出的可靠性。通过多个图相关任务的广泛实验,InstructGraph实现了最佳性能,并且超过GPT-4和LLaMA2分别13%和38%以上。
Feb, 2024
本文提出了一种使用大型语言模型设计多功能图学习方法的新概念原型,重点关注了“在哪里”和“如何”的角度,总结了四个关键的图学习过程,并探索了大型语言模型在这些过程中的应用场景,最后指出了更好利用大型语言模型的发展方向。
Feb, 2024
提出了一种新颖的框架 MuseGraph,它无缝地整合了 GNN 和 LLM 的优势,通过自适应输入生成和多样化的指令生成机制,以及针对不同任务和数据集的图感知指令调优,提高了图任务的准确性,并保持了 LLM 的生成能力。
Mar, 2024
针对文本丰富的图表,我们引入了一种新方法——图感知参数高效微调(GPEFT),通过利用图神经网络(GNN)编码邻居节点的结构信息生成图提示,插入到文本序列的开头,从而实现了高效的图表示学习。通过在8个不同的文本丰富的图表上进行全面实验证明了该方法的有效性和高效性,在链接预测评估中平均提升了2%的hit@1和平均倒数排名(MRR),同时表明可以与多种大型语言模型无缝集成,包括OPT、LLaMA和Falcon。
Apr, 2024
通过综述最新的最先进的用于图学习的大型语言模型,我们引入了一种新的分类方法,详细阐述了四种独特的设计,并探讨了每种框架的优势和局限性,同时强调了未来研究的潜在方向。
May, 2024
本研究针对大型语言模型在图相关任务中的应用,填补了现有研究的空白。我们提出了一种新的数据集,包含79个图任务,并发现JSON格式在图表示上对语言模型的理解效果最佳。这一发现为如何有效使用大型语言模型处理复杂图结构提供了实证依据,具有重要的应用潜力。
Aug, 2024
本研究解决了大型语言模型在处理图形任务时无法捕捉复杂结构信息的挑战。提出了一种新颖的节点标记器NT-LLM,通过选择关键节点并基于相对距离进行编码,能够有效捕捉图形拓扑信息,显著提高模型的推理能力和性能。这一方法具有更好的实用性和应用潜力。
Oct, 2024