利用大型语言模型强化文本属性图学习
本文旨在探索使用大型语言模型(LLMs)进行图机器学习的潜力,特别是节点分类任务,并调查两种潜在的流程:LLMs 作为增强器和 LLMs 作为预测器。通过全面而系统的研究,我们获得了原创性观察并发现新的见解,为利用 LLMs 进行图学习提供了新的可能性和有希望的方向。
Jul, 2023
利用大型语言模型在图学习任务中的潜力,本研究探索了如何利用信息检索和文本生成能力来提高文本属性图的拓扑结构,进而增强节点分类的性能。通过节点属性的语义相似度,采用大型语言模型来删除不可靠的边并添加可靠的边,以及利用大型语言模型生成的伪标签改善图的拓扑结构。实验证明使用大型语言模型进行图拓扑改善在公共基准测试中提升了 0.15% 至 2.47% 的性能。
Nov, 2023
本研究提出了使用大型语言模型和图模型相结合的方法来学习文本属性图 (TAG),通过将大型语言模型的能力提取到本地图模型上,以解决大型语言模型的可扩展性、成本和隐私问题,并通过丰富的文本理由教授解释器,然后让学生模型模仿解释器的推理来弥补大型语言模型和图模型之间的固有差距。通过广泛实验证明了该方法的有效性。
Feb, 2024
通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾,我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点,并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后,我们提出了这一快速发展领域的潜在未来研究方向。
Dec, 2023
本研究通过语言监督来改善视图生成,介绍了 GAugLLM 框架,利用先进的大型语言模型(如 Mistral)增强自监督图学习,通过混合提示专家技术生成增强的节点特征,以及协作边修饰器来增强边的生成。实验结果表明,该框架可以作为插件工具增强领先的对比方法的性能,同时也能增强标准生成方法和流行的图神经网络的性能。
Jun, 2024
该文介绍了一种利用大型语言模型和图神经网络相结合的无标签节点分类方法 LLM-GNN,在小部分节点上利用语言模型进行注释,然后使用图神经网络对其余大部分节点进行预测,通过开发注释质量启发式和利用语言模型的置信度得分来选择节点,从而提高图神经网络的性能,实验证明了 LLM-GNN 的有效性。
Oct, 2023
在该研究中,我们通过对大型语言模型在图预测任务的性能进行实验,评估它们是否能有效处理图数据并利用拓扑结构提高性能;通过与专门的图神经网络进行比较,我们对大型语言模型在图分析中的优势和局限性提供了见解,并为将它们应用于图分析提供了进一步的探索方向。
Oct, 2023
通过综述最新的最先进的用于图学习的大型语言模型,我们引入了一种新的分类方法,详细阐述了四种独特的设计,并探讨了每种框架的优势和局限性,同时强调了未来研究的潜在方向。
May, 2024
在 LLMs 时代,通过综述文章,我们首先回顾了图机器学习的最新发展,然后探讨了 LLMs 如何提高图特征的质量,减少对标记数据的依赖,并解决图的异质性和分布外泛化等挑战。此外,我们研究了图如何增强 LLMs,并突出它们在 LLMs 的预训练和推理中的能力。最后,我们探讨了这个有前景的领域的各种应用和潜在的未来方向。
Apr, 2024
通过 Disentangled Graph-Text Learner (DGTL) 模型,结合图结构信息和大型语言模型,提升了对文本属性图的推理能力和预测能力,并且通过提供自然语言解释来显著提高模型的解释性。
Oct, 2023