大型语言模型时代的图机器学习

Apr, 2024

Graph Machine Learning in the Era of Large Language Models (LLMs)

Wenqi Fan, Shijie Wang, Jiani Huang, Zhikai Chen, Yu Song...

TL;DR在 LLMs 时代，通过综述文章，我们首先回顾了图机器学习的最新发展，然后探讨了 LLMs 如何提高图特征的质量，减少对标记数据的依赖，并解决图的异质性和分布外泛化等挑战。此外，我们研究了图如何增强 LLMs，并突出它们在 LLMs 的预训练和推理中的能力。最后，我们探讨了这个有前景的领域的各种应用和潜在的未来方向。

Abstract

Graphs play an important role in representing complex relationships in various domains like social networks, knowledge graphs, and molecular discovery. With the advent of deep learning, graph neural networks (GNN

graph neural networks llms graph ml knowledge graphs transferability

发现论文，激发创造

大规模语言模型对图的调查

通过综述最新的最先进的用于图学习的大型语言模型，我们引入了一种新的分类方法，详细阐述了四种独特的设计，并探讨了每种框架的优势和局限性，同时强调了未来研究的潜在方向。

May, 2024

图结合大型语言模型的综述：现状与未来方向

在本调查中，我们首先提出了一种新的分类法，该分类法将现有方法根据 LLMs 在图相关任务中所扮演的角色（增强器、预测器和对齐组件）分为三类，并对这三类中的代表性方法进行了系统调查。我们还讨论了现有研究的局限性，并强调了未来研究的有希望的方向。

Nov, 2023

探索大型语言模型在图学习中的潜力

本文旨在探索使用大型语言模型（LLMs）进行图机器学习的潜力，特别是节点分类任务，并调查两种潜在的流程：LLMs 作为增强器和 LLMs 作为预测器。通过全面而系统的研究，我们获得了原创性观察并发现新的见解，为利用 LLMs 进行图学习提供了新的可能性和有希望的方向。

Jul, 2023

图上的大型语言模型：综合调查

通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾，我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点，并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后，我们提出了这一快速发展领域的潜在未来研究方向。

Dec, 2023

生成图分析的大型语言模型综述：查询、学习和应用

通过研究大型语言模型在图数据上的应用，整理了现有研究中采用高级语言模型解决的图分析问题，并指出了现存挑战和未来研究方向。

Apr, 2024

基于大型语言模型的无标签图节点分类 (LLMS)

该文介绍了一种利用大型语言模型和图神经网络相结合的无标签节点分类方法 LLM-GNN，在小部分节点上利用语言模型进行注释，然后使用图神经网络对其余大部分节点进行预测，通过开发注释质量启发式和利用语言模型的置信度得分来选择节点，从而提高图神经网络的性能，实验证明了 LLM-GNN 的有效性。

Oct, 2023

自然语言就是图的应有之义

我们提出了 InstructGLM（指导调整的图语言模型），基于自然语言说明系统地设计高度可扩展的提示，使用自然语言描述图的几何结构和节点特征，通过指导调优语言模型以一种生成方式在图上执行学习和推理，超过了所有竞争的 GNN 基准数据集，证明了我们方法的有效性，并为将生成语言模型替代 GNN 作为图机器学习的基础模型提供了启示。

Aug, 2023

图生成中大型语言模型的潜力探索

本文介绍了 LLM4GraphGen 模型，通过系统性任务设计和广泛的实验探索了大型语言模型在图生成方面的能力，并表明 GPT-4 在图生成任务中展现了初步能力，包括基于规则和分布的生成，同时发现流行的提示方法并不一致地提升性能。此外，LLM 在生成具有特定属性的分子方面展现了潜力，这些发现为基于 LLMs 的图生成模型的设计提供了基础，并提供了有价值的见解和进一步的研究方向。

Mar, 2024

图形语言模型

图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

Jan, 2024

大规模语言模型推动图表示学习的进展：技术综述

利用大型语言模型和图表示学的集成标志着复杂数据结构分析的重大进展，通过利用 LLM 的先进语言能力来改善图模型的上下文理解和适应性，从而拓宽了 GRL 的范围和潜力。本研究通过提出一种新颖的分类法，深入分析了 LLM 与 GRL 之间的核心组成部分和操作技术，填补了目前缺乏的综述研究。我们进一步将近期文献分解为两个主要组成部分，包括知识提取器和整理器，以及两种操作技术，包括集成和训练策略，以揭示有效的模型设计和训练策略，并探讨了这一新兴但尚未充分探索的领域的潜在未来研究方向，为持续进展提出了路径。

Feb, 2024