GraphInstruct: 强化大型语言模型的图理解和推理能力
通过指令调整和偏好对齐,InstructGraph 框架赋予大型语言模型(LLMs)图推理和生成能力。该框架中,我们首先提出了结构化格式化语言器来统一所有图数据,并且引入了图指令调整阶段来指导 LLMs 解决图推理和生成任务。最后,我们针对图任务中的潜在幻觉问题抽取了负例样本以进行偏好对齐,以提高模型输出的可靠性。通过多个图相关任务的广泛实验,InstructGraph 实现了最佳性能,并且超过 GPT-4 和 LLaMA2 分别 13% 和 38% 以上。
Feb, 2024
通过将图学习模型与大型语言模型(LLMs)有机地融合,我们介绍了 GraphLLM,一种能够使 LLMs 能够熟练解释和推理图数据的先导性端到端方法,经过多个基础图推理任务的实证评估,结果展示了平均准确率提高 54.44%以及各种图推理任务中 96.45%的显著上下文减少。
Oct, 2023
提出了一种新颖的框架 MuseGraph,它无缝地整合了 GNN 和 LLM 的优势,通过自适应输入生成和多样化的指令生成机制,以及针对不同任务和数据集的图感知指令调优,提高了图任务的准确性,并保持了 LLM 的生成能力。
Mar, 2024
本文旨在通过图形推理方法对大型语言模型进行增强,以使其能够完成复杂的图形学习任务,包括基本的图形数据推理和更高级的实际应用推理,我们提出了一个名为 Graph-ToolFormer 的框架,并在各种图形推理数据集和任务上进行了初步的实验研究。
Apr, 2023
NLGraph is a benchmark for large language models to solve graph-based problems in natural language, where two instruction-based approaches - Build-a-Graph Prompting and Algorithmic Prompting - are proposed, improving the LLMs' performance by 3.07% to 16.85% across multiple tasks and settings.
May, 2023
我们的论文引入了结构引导提示,这是一个创新的三阶段任务无关提示框架,旨在提高大型语言模型在零样本环境下的多步推理能力。通过将非结构化文本转换为图形,指导模型在图形中导航,并使用任务特定的策略来制定响应,我们的实验表明这一框架显著增强了大型语言模型的推理能力,使其在更广泛的自然语言场景中表现出色。
Feb, 2024
我们提出了 InstructGLM(指导调整的图语言模型),基于自然语言说明系统地设计高度可扩展的提示,使用自然语言描述图的几何结构和节点特征,通过指导调优语言模型以一种生成方式在图上执行学习和推理,超过了所有竞争的 GNN 基准数据集,证明了我们方法的有效性,并为将生成语言模型替代 GNN 作为图机器学习的基础模型提供了启示。
Aug, 2023
本文研究了在十个不同的任务中评估大型语言模型在理解图形数据方面的能力,发现目前模型仍存在理解图结构和执行相关推理任务的局限性,需要进一步的研究以加强其图形处理能力。研究结果为搭建语言模型与图形数据理解之间的桥梁提供了宝贵的见解,为更有效的图挖掘和知识提取铺平了道路。
May, 2023
该论文研究了将图模态集成到大型语言模型中,以提升其在图解指令任务中的性能表现,并通过图嵌入训练模型,使其能够理解和基于图表示生成回答。该方法在性能上显著优于图文方法,并且对于较大的图结构保持一致。
May, 2024
通过一种新的框架 GraphText,将图形转化为自然语言,无需图数据训练,能够实现与监督训练图神经网络相媲美甚至超越其性能的图推理,同时为人类和大型语言模型提供了与模型无缝交流的方式,突显了大型语言模型在图机器学习领域尚未探索的巨大潜力。
Oct, 2023