Feb, 2024

HyperBERT: 在文本属性化超图上混合超图感知层与语言模型进行节点分类

PDF
TL;DR开发一种新的架构 HyperBERT，结合了超图的关系结构和预训练 BERT 模型，用于解决节点分类问题，并在 5 个具有挑战性的文本属性超图节点分类基准测试中取得了最新的最佳结果。
hypergraphsdeep learningnode classificationbert modelhyperbert
发现论文，激发创造
  • 一个语义分层图神经网络用于文本分类

    本文研究了基于图神经网络的文本分类任务，提出了一种新的分层图神经网络模型（HieGNN），其在词级别、句子级别和文档级别分别提取相应的信息。实验结果表明与几个基准方法相比，我们的模型能够从样本中获得更多有用的分类信息。

    Sep, 2022

  • VGCN-BERT: 使用图嵌入增强 BERT 进行文本分类

    本文提出了 VGCN-BERT 模型，结合 BERT 和 Vocabulary Graph Convolutional Networks (VGCN) 的能力进行文本分类，实验证明其在多个文本分类数据集上性能优于单独使用 BERT 和 GCN，并且比以前的研究效果更好。

    Apr, 2020

  • 语言和图神经网络模型的高效有效训练

    本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

    Jun, 2022

  • 超图变换器用于半监督分类

    通过全球节点和超边之间的全球关联以及捕捉节点和超边之间的局部连接性，提出了一种新颖的超图学习框架，称为 HyperGraph Transformer（HyperGT），该框架利用基于 Transformer 的神经网络结构来有效地处理超图结构化数据，实现了全面的超图表示学习，并在超图节点分类任务中取得了出色的性能，超过了现有方法，建立了新的基准水平。

    Dec, 2023

  • Graph-Bert: 仅需注意力即可学习图形表示

    本文提出了一种新的基于注意力机制的图神经网络 GRAPH-BERT，通过在局部上下文中训练采样的无链接子图来学习 GRAPH-BERT，进而在节点分类和图聚类任务中通过微调 GRAPH-BERT 取得了良好的效果。

    Jan, 2020

  • 规模化的双曲图神经网络：一种元学习方法

    本文介绍了一种名为超曲线图元学习器（H-GRAM）的新方法，通过从节点的局部子图中学习可传递的归纳偏见和集合超曲线元梯度，实现在处理不相关子图的查询任务上进行更快的学习，并展示了其在多种挑战性的少样本设置中学习和传递信息的有效性，并且相较于传统的欧几里得方法，在大型图数据集上能够更好地提高性能。

    Oct, 2023

  • 基于超图群体的分类模型

    本文介绍了一种新颖的超图分类算法，通过构建具有任意阶多项交互的超图，并采用超图种群来提高算法的性能和鲁棒性，在两个数据集上评估并证明了其相较于通用的随机森林分类算法具有良好的性能。

    May, 2024

  • 使用文字属性的异构图预训练语言模型

    该研究提出了一种新的语言模型预训练框架，明确考虑了 Text-Attributed Heterogeneous Graph 中的拓扑和异构信息，通过优化语言模型和辅助异构图神经网络，定义了上下文图，并通过拓扑感知预训练任务来预测与上下文图有关的节点，同时采用文本增强策略来处理节点文本不平衡问题。在三个不同领域的数据集上进行了链接预测和节点分类任务，并实验结果证明了该方法的优越性和每个设计的合理性。

    Oct, 2023

  • 利用大型语言模型强化文本属性图学习

    通过采用轻量级范式 ENG 以 Large Language Models 为基础，增强文本属性的图数据，包括通过节点生成使用 LLMs 提取语义信息和生成样本，以及通过边缘预测器将新生成的样本与原始图结合，从而在少样本情况下促进节点分类任务。

    Oct, 2023

  • 拓扑指导的超图变换网络：揭示结构洞察以改进表示

    提出了一种拓扑引导的超图变换网络，通过保留结构本质学习图中的高阶关系，设计了简洁而有效的结构和空间编码模块将节点的拓扑和空间信息融入其表示，并提出了一种结构感知的自注意机制，从语义和结构角度发现重要节点和超边。实验证明，所提模型在节点分类任务上的性能始终优于现有方法。

    Oct, 2023