语言和图神经网络模型的高效有效训练

Jun, 2022

语言和图神经网络模型的高效有效训练

Efficient and effective training of language and graph neural network models

Vassilis N. Ioannidis, Xiang Song, Da Zheng, Houyu Zhang, Jun Ma...

TL;DR本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

Abstract

Can we combine heterogenous graph structure with text to learn high-quality semantic and behavioural representations? graph neural networks (GNN)s encode numerical node attributes and graph structure to achieve impressive performance in a variety of →

graph neural networks heterogeneous graph structure language model bert model supervised learning

发现论文，激发创造

图形语言模型

图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

Jan, 2024

一个语义分层图神经网络用于文本分类

本文研究了基于图神经网络的文本分类任务，提出了一种新的分层图神经网络模型（HieGNN），其在词级别、句子级别和文档级别分别提取相应的信息。实验结果表明与几个基准方法相比，我们的模型能够从样本中获得更多有用的分类信息。

Sep, 2022

探索大型语言模型在图学习中的潜力

本文旨在探索使用大型语言模型（LLMs）进行图机器学习的潜力，特别是节点分类任务，并调查两种潜在的流程：LLMs 作为增强器和 LLMs 作为预测器。通过全面而系统的研究，我们获得了原创性观察并发现新的见解，为利用 LLMs 进行图学习提供了新的可能性和有希望的方向。

Jul, 2023

分级消息传递图神经网络

提出了一种新的 Hierarchical Message-passing Graph Neural Networks 框架，通过生成 hierarchical structure，并采用 inra- 和 inter-level propagation manners 以及 hierarchical community detection algorithm，实现了对长程信息的高效访问，从而在节点分类、社区检测等任务中优于现有基于 GNN 的模型。

Sep, 2020

自然语言就是图的应有之义

我们提出了 InstructGLM（指导调整的图语言模型），基于自然语言说明系统地设计高度可扩展的提示，使用自然语言描述图的几何结构和节点特征，通过指导调优语言模型以一种生成方式在图上执行学习和推理，超过了所有竞争的 GNN 基准数据集，证明了我们方法的有效性，并为将生成语言模型替代 GNN 作为图机器学习的基础模型提供了启示。

Aug, 2023

大规模语言模型对图的调查

通过综述最新的最先进的用于图学习的大型语言模型，我们引入了一种新的分类方法，详细阐述了四种独特的设计，并探讨了每种框架的优势和局限性，同时强调了未来研究的潜在方向。

May, 2024

基于文本级图神经网络的文本分类

提出了一种新的基于图神经网络的模型，通过全局参数共享建立每个输入文本的图形而不是整个语料库的单个图形，这种方法支持在线测试，同时提取更多的本地特征和显著降低边缘数量以及内存消耗，在多个文本分类数据集上性能优于现有模型。

Oct, 2019

通过词汇将 Dr.E 桥接大型语言模型的图表

我们介绍了一个创新的、端到端的模态对齐框架，配备了一个预训练的 Dual-Residual Vector Quantized-Variational AutoEncoder (Dr.E)。该框架专门设计用于促进与 LLMs 的令牌级对齐，实现了将图的内在 ' 语言 ' 转化为可理解的自然语言。我们在标准的 GNN 节点分类任务上进行了实验证明，与其他最先进的方法相比，我们的框架具有竞争力的性能。此外，我们的框架确保了可解释性、效率和鲁棒性，并在微调和少样本设置下进一步验证了其有效性。这项研究标志着首次成功实现了 GNNs 和 LLMs 之间的令牌级对齐。

Jun, 2024

门控图神经网络实现的图到序列学习

提出了一种新的神经网络模型结合 Gated Graph Neural Networks 和输入转换解决了线性化启发式和参数爆炸问题，可以对 AMR 图和基于语法的神经机器翻译进行生成，实验结果表明该模型优于强基线模型。

Jun, 2018

基于大型语言模型的无标签图节点分类 (LLMS)

该文介绍了一种利用大型语言模型和图神经网络相结合的无标签节点分类方法 LLM-GNN，在小部分节点上利用语言模型进行注释，然后使用图神经网络对其余大部分节点进行预测，通过开发注释质量启发式和利用语言模型的置信度得分来选择节点，从而提高图神经网络的性能，实验证明了 LLM-GNN 的有效性。

Oct, 2023