EMNLPOct, 2023

GRENADE: 自我监督表示学习的图中心语言模型

PDF
TL;DR通过图中心化的自监督学习算法，GRENADE 模型在文本属性图上能够有效地捕捉信息性的文本语义和结构上下文信息，出现了优于现有方法的结果。
self-supervised representation learningtext-attributed graphsgraph-centric language modelgraph neural networkself-supervised learning algorithms
发现论文，激发创造
  • GAugLLM：使用大型语言模型改进文本属性图的图对比学习

    本研究通过语言监督来改善视图生成，介绍了 GAugLLM 框架，利用先进的大型语言模型（如 Mistral）增强自监督图学习，通过混合提示专家技术生成增强的节点特征，以及协作边修饰器来增强边的生成。实验结果表明，该框架可以作为插件工具增强领先的对比方法的性能，同时也能增强标准生成方法和流行的图神经网络的性能。

    Jun, 2024

  • 针对图形异常检测的生成式和对比式自监督学习

    本文提出 SL-GAD 方法来进行图数据中的异常检测，该方法利用生成属性回归模块捕捉属性空间中的异常以及多视角对比学习模块从多个子图中挖掘丰富的结构信息来检测结构空间中的异常，实验结果表明该方法较现有方法具有更好的表现。

    Aug, 2021

  • 利用大型语言模型强化文本属性图学习

    通过采用轻量级范式 ENG 以 Large Language Models 为基础，增强文本属性的图数据，包括通过节点生成使用 LLMs 提取语义信息和生成样本，以及通过边缘预测器将新生成的样本与原始图结合，从而在少样本情况下促进节点分类任务。

    Oct, 2023

  • ConGraT：自监督对比预训练用于联合图和文本嵌入

    本文提出了 ConGraT (Contrastive Graph-Text Pretraining) 方法，一种在 parent graph 上联合学习文本和节点的表示的自监督方法。使用两个单独的编码器来处理节点和文本，通过批量对比学习目标进行训练，并扩展了训练目标以纳入节点相似性和匹配节点和文本的可信下一猜测。在多个数据集上进行的实验表明，在节点和文本分类以及链接预测等不同下游任务中，ConGraT 优于强基线模型。

    May, 2023

  • GPT-GNN：图神经网络的生成预训练

    本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

    Jun, 2020

  • GraphGPT: 大型语言模型的图指令调优

    我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

    Oct, 2023

  • 训练您自己的 GNN 教师：在文本图上的图感知蒸馏

    本论文针对在文本图上学习有效节点表示的问题，提出了一种使用语言模型编码图文本信息的图神经网络和知识蒸馏机制，能够在无图情况下实现快速推理，实验结果表明，该方法在节点分类任务上具有显著优势。

    Apr, 2023

  • 利用大型语言模型进行文本属性图的解耦合表示学习

    通过 Disentangled Graph-Text Learner (DGTL) 模型，结合图结构信息和大型语言模型，提升了对文本属性图的推理能力和预测能力，并且通过提供自然语言解释来显著提高模型的解释性。

    Oct, 2023

  • CADGE：基于图结构知识聚合的上下文感知对话生成

    本文提出一种基于上下文感知的图注意力模型 (Context-aware GAT)，可以在知识聚合流程中有效地整合相关知识图的全局特征，并且优于传统基于图神经网络 (GNNs) 的语言框架。

    May, 2023

  • 属性图模式学习：利用可训练属性的图模式进行预测性图挖掘

    通过结合近端梯度下降和图挖掘树搜索，本文提出了一种针对属性图数据的可解释分类算法 LAGRA（Learning Attributed GRAphlets），能够同时学习重要性权重和属性向量，从而获得对于区分不同类别有很大贡献的子图结构和属性向量的组合，同时将所有训练数据集中的子图结构视为候选的 AG（attributed graphlets）的结构，通过剪枝策略来提高计算效率并保持解决方案的质量，实验证明 LAGRA 在可解释的方式下仅使用少量 AGs 就能具有优秀的预测性能。

    Feb, 2024