基于大型语言模型的无标签图节点分类 (LLMS)

Oct, 2023

基于大型语言模型的无标签图节点分类 (LLMS)

Label-free Node Classification on Graphs with Large Language Models (LLMS)

Zhikai Chen, Haitao Mao, Hongzhi Wen, Haoyu Han, Wei Jin...

TL;DR该文介绍了一种利用大型语言模型和图神经网络相结合的无标签节点分类方法 LLM-GNN，在小部分节点上利用语言模型进行注释，然后使用图神经网络对其余大部分节点进行预测，通过开发注释质量启发式和利用语言模型的置信度得分来选择节点，从而提高图神经网络的性能，实验证明了 LLM-GNN 的有效性。

Abstract

In recent years, there have been remarkable advancements in node classification achieved by graph neural networks (GNNs). However, they necessitate abundant high-quality labels to ensure promising performance. In contrast, →

graph neural networks large language models label-free node classification llm-gnn annotation quality heuristic

发现论文，激发创造

探索大型语言模型在图学习中的潜力

本文旨在探索使用大型语言模型（LLMs）进行图机器学习的潜力，特别是节点分类任务，并调查两种潜在的流程：LLMs 作为增强器和 LLMs 作为预测器。通过全面而系统的研究，我们获得了原创性观察并发现新的见解，为利用 LLMs 进行图学习提供了新的可能性和有希望的方向。

Jul, 2023

大规模语言模型对图的调查

通过综述最新的最先进的用于图学习的大型语言模型，我们引入了一种新的分类方法，详细阐述了四种独特的设计，并探讨了每种框架的优势和局限性，同时强调了未来研究的潜在方向。

May, 2024

大型语言模型时代的图机器学习

在 LLMs 时代，通过综述文章，我们首先回顾了图机器学习的最新发展，然后探讨了 LLMs 如何提高图特征的质量，减少对标记数据的依赖，并解决图的异质性和分布外泛化等挑战。此外，我们研究了图如何增强 LLMs，并突出它们在 LLMs 的预训练和推理中的能力。最后，我们探讨了这个有前景的领域的各种应用和潜在的未来方向。

Apr, 2024

大型语言模型对文本属性图的拓扑结构增强

利用大型语言模型在图学习任务中的潜力，本研究探索了如何利用信息检索和文本生成能力来提高文本属性图的拓扑结构，进而增强节点分类的性能。通过节点属性的语义相似度，采用大型语言模型来删除不可靠的边并添加可靠的边，以及利用大型语言模型生成的伪标签改善图的拓扑结构。实验证明使用大型语言模型进行图拓扑改善在公共基准测试中提升了 0.15% 至 2.47% 的性能。

Nov, 2023

利用大型语言模型强化文本属性图学习

通过采用轻量级范式 ENG 以 Large Language Models 为基础，增强文本属性的图数据，包括通过节点生成使用 LLMs 提取语义信息和生成样本，以及通过边缘预测器将新生成的样本与原始图结合，从而在少样本情况下促进节点分类任务。

Oct, 2023

图结合大型语言模型的综述：现状与未来方向

在本调查中，我们首先提出了一种新的分类法，该分类法将现有方法根据 LLMs 在图相关任务中所扮演的角色（增强器、预测器和对齐组件）分为三类，并对这三类中的代表性方法进行了系统调查。我们还讨论了现有研究的局限性，并强调了未来研究的有希望的方向。

Nov, 2023

大型语言模型与图神经网络相遇于知识蒸馏

通过使用 LinguGKD 框架，将大型语言模型作为教师模型和图神经网络作为学生模型，通过设计的节点分类提示来调过教师 LLM 的 Hierarchically 学习到的节点特征和学生 GNN 在潜在空间的对齐，并采用层自适应对比学习策略，提高了学生 GNN 的预测准确性和收敛速度，同时提供了更快的推理速度和更少的计算和存储需求。

Feb, 2024

将大型语言模型（LLMs）与图神经网络（GNNs）相结合的互动方式（LLMs-as-Consultants）——LOGIN（LLM Consulted GNN training）框架，在节点分类任务上取得了与复杂设计的先进 GNNs 相媲美的性能，而且其基本 GNN 架构能够实现与强化设计的 GNNs 相当的性能。

May, 2024

生成图分析的大型语言模型综述：查询、学习和应用

通过研究大型语言模型在图数据上的应用，整理了现有研究中采用高级语言模型解决的图分析问题，并指出了现存挑战和未来研究方向。

Apr, 2024

图神经网络是否能够成为 LLMs 的好适配器？

本文研究了如何利用大型语言模型（LLMs）对文本属性图（TAGs）进行建模，并提出了一种名为 GraphAdapter 的框架，它使用图神经网络（GNN）作为高效的适配器。经过多项实验证明，GraphAdapter 在节点分类任务中相比以前的方法提高了约 5％，同时还适用于其他语言模型，包括 RoBERTa 和 GPT-2。

Feb, 2024