Jul, 2024

使用预训练的LLM的简化文本属性图嵌入

HTML
PDF
TL;DR使用Simplified Text-Attributed Graph Embeddings (STAGE)方法来增强编码文本属性图的图神经网络模型中的节点特征。STAGE利用大型语言模型生成文本属性的嵌入，实现了在各种节点分类基准测试中具有竞争力的结果，同时相对于当前最先进的技术实现上也保持了简单性。我们展示了利用预训练的大型语言模型作为嵌入生成器为集成图神经网络训练提供了稳定的特征，从而使得我们的流程比当前需要多个昂贵的训练和提示阶段的最先进方法更简化。我们还实现了扩展模式图神经网络，以使这个流程适用于超过学术基准的图结构。
发现论文，激发创造
  • 将解释作为特征：基于LLM的文本属性图特征

    该论文的主要研究方向是在图神经网络中利用自然语言处理模型来提高文本理解能力，并将其作为图结构的特征以提高下游任务的性能。通过在多个数据集上的实验证明，采用该方法在一定程度上提升了图神经网络模型的表现。

    May, 2023

  • 探索大型语言模型在图学习中的潜力

    本文旨在探索使用大型语言模型（LLMs）进行图机器学习的潜力，特别是节点分类任务，并调查两种潜在的流程：LLMs作为增强器和LLMs作为预测器。通过全面而系统的研究，我们获得了原创性观察并发现新的见解，为利用LLMs进行图学习提供了新的可能性和有希望的方向。

    Jul, 2023

  • 基于大型语言模型的无标签图节点分类 (LLMS)

    该文介绍了一种利用大型语言模型和图神经网络相结合的无标签节点分类方法LLM-GNN，在小部分节点上利用语言模型进行注释，然后使用图神经网络对其余大部分节点进行预测，通过开发注释质量启发式和利用语言模型的置信度得分来选择节点，从而提高图神经网络的性能，实验证明了LLM-GNN的有效性。

    Oct, 2023

  • 利用大型语言模型强化文本属性图学习

    通过采用轻量级范式ENG以Large Language Models为基础，增强文本属性的图数据，包括通过节点生成使用LLMs提取语义信息和生成样本，以及通过边缘预测器将新生成的样本与原始图结合，从而在少样本情况下促进节点分类任务。

    Oct, 2023

  • 大型语言模型对文本属性图的拓扑结构增强

    利用大型语言模型在图学习任务中的潜力，本研究探索了如何利用信息检索和文本生成能力来提高文本属性图的拓扑结构，进而增强节点分类的性能。通过节点属性的语义相似度，采用大型语言模型来删除不可靠的边并添加可靠的边，以及利用大型语言模型生成的伪标签改善图的拓扑结构。实验证明使用大型语言模型进行图拓扑改善在公共基准测试中提升了0.15%至2.47%的性能。

    Nov, 2023

  • 大规模语言模型对图的调查

    通过综述最新的最先进的用于图学习的大型语言模型，我们引入了一种新的分类方法，详细阐述了四种独特的设计，并探讨了每种框架的优势和局限性，同时强调了未来研究的潜在方向。

    May, 2024

  • 通过大型语言模型实现文本属性图的潜力释放：自动关系分解

    RoSE是一个利用大型语言模型自动将文本属性分解成轮廓性语义关系的框架，在各种数据集上显著提高了节点分类性能，最高可达16％。

    May, 2024

  • 文本属性图上的纯Transformer预训练框架

    图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

    Jun, 2024

  • 节点级图自编码器：文本图学习的统一预训练

    该研究解决了文本图表示学习中有效提取结构和文本信息的不足。提出的节点级图自编码器（NodeGAE）框架，通过语言模型进行预训练并加入局部图结构的辅助损失，简化训练过程并提升了通用性。实验结果显示，该方法显著提高了多种图神经网络在节点分类和链接预测任务中的表现。

    Aug, 2024

  • 节点级图自编码器：文本图学习的统一预训练

    本研究解决了文本图表示学习中传统方法无法有效捕捉结构和文本信息的问题。提出了一种新的统一无监督学习框架节点级图自编码器（NodeGAE），通过语言模型进行预训练，并增加辅助损失项以关注局部图结构。实验结果表明，该方法显著提升了多种图神经网络在文本图数据集上的性能。

    Aug, 2024