本研究提出了使用大型语言模型和图模型相结合的方法来学习文本属性图 (TAG)，通过将大型语言模型的能力提取到本地图模型上，以解决大型语言模型的可扩展性、成本和隐私问题，并通过丰富的文本理由教授解释器，然后让学生模型模仿解释器的推理来弥补大型语言模型和图模型之间的固有差距。通过广泛实验证明了该方法的有效性。
Feb, 2024
利用大型语言模型在图学习任务中的潜力，本研究探索了如何利用信息检索和文本生成能力来提高文本属性图的拓扑结构，进而增强节点分类的性能。通过节点属性的语义相似度，采用大型语言模型来删除不可靠的边并添加可靠的边，以及利用大型语言模型生成的伪标签改善图的拓扑结构。实验证明使用大型语言模型进行图拓扑改善在公共基准测试中提升了 0.15% 至 2.47% 的性能。
Nov, 2023
通过 Disentangled Graph-Text Learner (DGTL) 模型，结合图结构信息和大型语言模型，提升了对文本属性图的推理能力和预测能力，并且通过提供自然语言解释来显著提高模型的解释性。
Oct, 2023
本文研究了如何利用大型语言模型（LLMs）对文本属性图（TAGs）进行建模，并提出了一种名为 GraphAdapter 的框架，它使用图神经网络（GNN）作为高效的适配器。经过多项实验证明，GraphAdapter 在节点分类任务中相比以前的方法提高了约 5％，同时还适用于其他语言模型，包括 RoBERTa 和 GPT-2。
本文通过变分 EM 算法提出了一种名为 GLEM 的高效文本 - 图像学习方法，该方法将大规模语言模型和图神经网络结构有效地融合，实现在大型文本 - 图像图模型上的学习。
Oct, 2022
通过使用 LinguGKD 框架，将大型语言模型作为教师模型和图神经网络作为学生模型，通过设计的节点分类提示来调过教师 LLM 的 Hierarchically 学习到的节点特征和学生 GNN 在潜在空间的对齐，并采用层自适应对比学习策略，提高了学生 GNN 的预测准确性和收敛速度，同时提供了更快的推理速度和更少的计算和存储需求。
通过采用轻量级范式 ENG 以 Large Language Models 为基础，增强文本属性的图数据，包括通过节点生成使用 LLMs 提取语义信息和生成样本，以及通过边缘预测器将新生成的样本与原始图结合，从而在少样本情况下促进节点分类任务。
通过自我监督的对比学习方法，我们介绍了一种新颖的统一图语言模型 (UniGLM) 框架，用于在多个领域和规模上进行多个文本 - 属性图 (Tag) 的联合微调，实现更好的泛化和转移学习能力。
Jun, 2024
本研究通过语言监督来改善视图生成，介绍了 GAugLLM 框架，利用先进的大型语言模型（如 Mistral）增强自监督图学习，通过混合提示专家技术生成增强的节点特征，以及协作边修饰器来增强边的生成。实验结果表明，该框架可以作为插件工具增强领先的对比方法的性能，同时也能增强标准生成方法和流行的图神经网络的性能。
针对文本丰富的图表，我们引入了一种新方法 —— 图感知参数高效微调（GPEFT），通过利用图神经网络（GNN）编码邻居节点的结构信息生成图提示，插入到文本序列的开头，从而实现了高效的图表示学习。通过在 8 个不同的文本丰富的图表上进行全面实验证明了该方法的有效性和高效性，在链接预测评估中平均提升了 2% 的 hit@1 和平均倒数排名（MRR），同时表明可以与多种大型语言模型无缝集成，包括 OPT、LLaMA 和 Falcon。
Apr, 2024