Feb, 2024

大规模语言模型推动图表示学习的进展：技术综述

HTML
PDF
TL;DR利用大型语言模型和图表示学的集成标志着复杂数据结构分析的重大进展，通过利用LLM的先进语言能力来改善图模型的上下文理解和适应性，从而拓宽了GRL的范围和潜力。本研究通过提出一种新颖的分类法，深入分析了LLM与GRL之间的核心组成部分和操作技术，填补了目前缺乏的综述研究。我们进一步将近期文献分解为两个主要组成部分，包括知识提取器和整理器，以及两种操作技术，包括集成和训练策略，以揭示有效的模型设计和训练策略，并探讨了这一新兴但尚未充分探索的领域的潜在未来研究方向，为持续进展提出了路径。
发现论文，激发创造
  • 探索大型语言模型在图学习中的潜力

    本文旨在探索使用大型语言模型（LLMs）进行图机器学习的潜力，特别是节点分类任务，并调查两种潜在的流程：LLMs作为增强器和LLMs作为预测器。通过全面而系统的研究，我们获得了原创性观察并发现新的见解，为利用LLMs进行图学习提供了新的可能性和有希望的方向。

    Jul, 2023

  • 聊天如图：为大型语言模型进行图编码

    通过对图结构数据进行编码，探究大型语言模型中图推理任务的性能提升，展示了编码器选择对图推理任务的影响，以及正确选择编码器能够提升性能的洞见。

    Oct, 2023

  • 将图形与大型语言模型融合：方法与前景

    大型语言模型与图结构化数据的集成可以通过增强现有图算法和作为预测模型来提升性能，同时结合图结构可以在各种复杂任务中显著改善大型语言模型的表现。

    Oct, 2023

  • GraphLLM：提升大型语言模型的图推理能力

    通过将图学习模型与大型语言模型（LLMs）有机地融合，我们介绍了GraphLLM，一种能够使LLMs能够熟练解释和推理图数据的先导性端到端方法，经过多个基础图推理任务的实证评估，结果展示了平均准确率提高54.44％以及各种图推理任务中96.45％的显著上下文减少。

    Oct, 2023

  • 图结合大型语言模型的综述：现状与未来方向

    在本调查中，我们首先提出了一种新的分类法，该分类法将现有方法根据LLMs在图相关任务中所扮演的角色（增强器、预测器和对齐组件）分为三类，并对这三类中的代表性方法进行了系统调查。我们还讨论了现有研究的局限性，并强调了未来研究的有希望的方向。

    Nov, 2023

  • 图上的大型语言模型：综合调查

    通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾，我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点，并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后，我们提出了这一快速发展领域的潜在未来研究方向。

    Dec, 2023

  • 通向多功能图学习方法：基于大型语言模型的视角

    本文提出了一种使用大型语言模型设计多功能图学习方法的新概念原型，重点关注了“在哪里”和“如何”的角度，总结了四个关键的图学习过程，并探索了大型语言模型在这些过程中的应用场景，最后指出了更好利用大型语言模型的发展方向。

    Feb, 2024

  • 大规模语言模型对图的调查

    通过综述最新的最先进的用于图学习的大型语言模型，我们引入了一种新的分类方法，详细阐述了四种独特的设计，并探讨了每种框架的优势和局限性，同时强调了未来研究的潜在方向。

    May, 2024

  • 研究大型语言模型在图上的指令调优

    本研究针对大型语言模型在图相关任务中的应用，填补了现有研究的空白。我们提出了一种新的数据集，包含79个图任务，并发现JSON格式在图表示上对语言模型的理解效果最佳。这一发现为如何有效使用大型语言模型处理复杂图结构提供了实证依据，具有重要的应用潜力。

    Aug, 2024

  • 桥接大型语言模型与图结构学习模型以实现稳健的表示学习

    本研究解决了图表示学习中常见的噪声问题，提出了LangGSL框架，整合了预训练语言模型和图结构学习模型的优势，提升了节点特征和图结构学习的效果。研究表明，通过互学习和相互补充，这一方法显著增强了节点嵌入和全局上下文，从而提高了模型的整体性能。

    Oct, 2024