Nov, 2023

异质超图神经网络的自监督预训练

PDF
TL;DR我们提出了一个新颖的自监督预训练框架，用于异构超图的自监督预训练。该方法能够在数据中自主捕捉实体之间的高阶关系，并在超图中使用信息表示来同时学习实体的局部和全局表示。实验结果表明，我们的框架能够提高各种超图模型在不同下游任务上的性能。
pretraining methodsgraph neural networkshypergnnself-supervised pretraininghypergnn models
发现论文，激发创造
  • 异质性下的自监督学习和图分类

    本文探讨了自监督学习在异构图表征学习中的表现，并提出了一种基于度量的自监督预训练策略来增强 GRN 的图结构捕捉能力。实验结果表明，该预训练策略在分子属性预测和蛋白质功能预测任务中取得了最先进的性能。

    Jun, 2023

  • 一种用于预训练图神经网络的简单图级自监督策略：成对半图辨别

    本文提出了一种名为 PHD 的简单而有效的自监督预训练策略，通过在图级别上明确地预训练图神经网络，实现了对图数据的可传递、可推广和稳健的表征学习。结果表明，PHD 是一种有效的预训练策略，在与现有先进策略的比较中提供了相当或更优的性能，当与节点级别策略相结合时可实现显着的提高。

    Oct, 2021

  • 自监督超图变换器用于推荐系统

    本文提出了一种名为 SHT 的新型自监督超图变换器框架，以增强协同过滤模型在处理存在数据稀疏和噪声的推荐场景时的鲁棒性，并在各种最先进的基准模型上显著提高性能，证明了其出色的表示能力。

    Jul, 2022

  • 从异质性学习：超图的动态学习框架

    本文提出了一种名为 LFH 的超图学习框架，能够通过动态超边构建和注意力嵌入更新利用图的异质性属性进行超图学习，在多个数据集上的实验证明其有效性。

    Jul, 2023

  • GPT-GNN：图神经网络的生成预训练

    本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

    Jun, 2020

  • 高效异构图学习通过随机投影

    我们提出了一种名为 RpHGNN 的混合预计算型异构图神经网络，它将一种风格的效率与另一种风格的低信息损失相结合，通过引入随机投影压缩步骤和关系化邻居收集组件，在七个小型和大型基准数据集上获得了最先进的结果，并比大多数有效的基准方法快 230％。

    Oct, 2023

  • Hyper-SAGNN: 一种基于自注意力的超图神经网络

    本文介绍了一种新的基于自注意力机制的图神经网络 Hyper-SAGNN，可用于不同类型的超图及其不同的学习任务，包括各种基准网络数据集以及基因组学中的单细胞 Hi-C 数据集。该模型在传统任务上优于现有模型，在新任务 “outsider identification” 上表现优异。

    Nov, 2019

  • HGPROMPT: 少样本提示学习中的齐次和非齐次图之间的桥接

    本文提出了 HGPROMPT，一个新颖的预训练和提示框架，通过双模板设计来统一预训练和下游任务，以及同质和异质图，并通过对下游任务的双提示来帮助定位最相关的先验知识，以弥合由于特征变化和任务间的异质性差异导致的差距，并通过对三个公共数据集进行全面的实验评估和分析。

    Dec, 2023

  • 简单高效的异构图神经网络

    本论文通过对异构图神经网络（HGNN）中注意力机制、多层结构进行深入研究，提出了 Simple and Efficient Heterogeneous Graph Neural Network（SeHGNN），该方法采用轻量级平均聚合器预先计算邻居聚合以捕获结构信息，采用长元路径和 Transformer 语义融合模块来更好地利用语义信息，结果表明 SeHGNN 具有简单的网络结构、高预测准确性和快速的训练速度。

    Jul, 2022

  • 生成对比异构图神经网络

    通过利用自监督学习，我们提出了一种新颖的生成对比异构图神经网络 (GC-HGNN)，并且在结点分类和链接预测任务中显著超越最新的对比和生成基线模型。

    Apr, 2024