Jun, 2024

在文本属性图中桥接局部细节和全局背景

PDF
TL;DR提出了 GraphBridge，一个多粒度整合框架，通过利用上下文文本信息来构建 TAGs 的局部和全局视角的桥梁，以增强对 TAGs 的细粒度理解，并引入了一个图感知的标记缩减模块来处理可扩展性和效率挑战。通过在各种模型和数据集上进行大量实验，表明我们的方法在性能上达到了最先进的水平，而我们的图感知标记缩减模块显著提高了效率并解决了可扩展性问题。
text-attributed graphsrepresentation learninggraphbridgecontextual textual informationgraph-aware token reduction module
发现论文，激发创造
  • 建模知识图谱中的全局和局部节点上下文以进行文本生成

    本研究提出了一种新型神经模型，将全局节点编码和局部节点编码相结合，以学习更好的上下文节点嵌入，实现了在两个图文转换数据集上明显的改进。

    Jan, 2020

  • TAGA：基于图和文本相互转换的自监督学习

    Text-And-Graph Multi-View Alignment (TAGA) is a self-supervised learning framework that integrates Text-Attributed Graphs (TAGs), enabling efficient training and strong performance in zero-shot and few-shot scenarios across multiple datasets.

    May, 2024

  • 大规模语言模型蒸馏用于文本属性图学习

    本研究提出了使用大型语言模型和图模型相结合的方法来学习文本属性图 (TAG)，通过将大型语言模型的能力提取到本地图模型上，以解决大型语言模型的可扩展性、成本和隐私问题，并通过丰富的文本理由教授解释器，然后让学生模型模仿解释器的推理来弥补大型语言模型和图模型之间的固有差距。通过广泛实验证明了该方法的有效性。

    Feb, 2024

  • CADGE：基于图结构知识聚合的上下文感知对话生成

    本文提出一种基于上下文感知的图注意力模型 (Context-aware GAT)，可以在知识聚合流程中有效地整合相关知识图的全局特征，并且优于传统基于图神经网络 (GNNs) 的语言框架。

    May, 2023

  • UniGLM：文本属性图的统一语言模型训练

    通过自我监督的对比学习方法，我们介绍了一种新颖的统一图语言模型 (UniGLM) 框架，用于在多个领域和规模上进行多个文本 - 属性图 (Tag) 的联合微调，实现更好的泛化和转移学习能力。

    Jun, 2024

  • 利用大型语言模型进行文本属性图的解耦合表示学习

    通过 Disentangled Graph-Text Learner (DGTL) 模型，结合图结构信息和大型语言模型，提升了对文本属性图的推理能力和预测能力，并且通过提供自然语言解释来显著提高模型的解释性。

    Oct, 2023

  • 使用文字属性的异构图预训练语言模型

    该研究提出了一种新的语言模型预训练框架，明确考虑了 Text-Attributed Heterogeneous Graph 中的拓扑和异构信息，通过优化语言模型和辅助异构图神经网络，定义了上下文图，并通过拓扑感知预训练任务来预测与上下文图有关的节点，同时采用文本增强策略来处理节点文本不平衡问题。在三个不同领域的数据集上进行了链接预测和节点分类任务，并实验结果证明了该方法的优越性和每个设计的合理性。

    Oct, 2023

  • 通过变分推断在大规模文本属性图上进行学习

    本文通过变分 EM 算法提出了一种名为 GLEM 的高效文本 - 图像学习方法，该方法将大规模语言模型和图神经网络结构有效地融合，实现在大型文本 - 图像图模型上的学习。

    Oct, 2022

  • 在图上高效微调大规模语言模型

    通过提出一种新颖高效的方法 LEADING，实现了对大型语言模型在文本属性图（TAGs）上的端到端微调，具有比现有方法更高的计算和数据效率，为一系列大型语言模型和基于 TAGs 的图学习任务提供了有前景的解决方案。

    Dec, 2023

  • 基于知识图谱和改进注意力机制的文本分类

    为了解决文本中的语义模糊问题，我们提出了一个模型，创新地将知识图谱与改进的注意机制结合起来。该模型在字符和词级别上运作，通过集成概念来加深对文本的理解。我们首先采用信息增益选择重要词，然后采用编码器 - 解码器框架对文本及相关概念进行编码。本地注意机制调整每个概念的权重，在分类过程中减少不相关或噪声概念的影响。我们改进了本地自注意机制中注意分数的计算公式，确保文本中不同频率出现的词语获得更高的注意分数。最后，该模型采用了双向门控循环单元（Bi-GRU），从文本中提取特征以提高分类准确性。该模型在 AGNews、Ohsumed 和 TagMyNews 等数据集上达到了 75.1%、58.7% 和 68.5% 的准确率，展示了其在分类任务中的有效性。

    Jan, 2024