Apr, 2023

解耦图神经网络：同时训练多个简单的 GNN，而不是一个复杂的网络

PDF
TL;DR提出了一种将多层 GNN 分解为多个简单模块的框架，并采用前向和后向训练机制进行高效训练，可以避免由于层数增加导致的依赖性快速增长和大量时间消耗。通过理论证明和实验结果表明，该框架的性能可行且高效。
graph neural networksmulti-layer gnnforward trainingbackward trainingefficiency
发现论文，激发创造
  • GPT-GNN：图神经网络的生成预训练

    本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

    Jun, 2020

  • 语言和图神经网络模型的高效有效训练

    本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

    Jun, 2022

  • 图神经网络的测试时间训练

    本研究提出了第一个用于 GNN 的测试时间训练框架，主要包括一种新颖的测试时间训练策略和自监督学习方法，以提高模型的泛化能力，并在基准数据集上进行了实验，证明了该框架的有效性，特别是在训练集与测试集之间存在分布偏移时。同时，研究者还通过探索性研究和理论分析来深入了解了 GT3 框架的设计合理性。

    Oct, 2022

  • 无需对文本属性图进行训练的图神经网络

    采用线性图神经网络（TrainlessGNN）模型构建代表每个类别节点属性子空间的权重矩阵，为 TAG 上的半监督节点分类提供了一种高效的方法，消除了迭代优化过程。广泛的实验证实了我们的无训练模型可以匹配甚至超越传统训练模型，展示了在特定配置中避免梯度下降的可能性。

    Apr, 2024

  • 预训练图神经网络的策略

    本文提出了一种针对图数据集的预训练策略和自监督方法，通过在节点和整个图级别上预训练表达力强的 GNN，以便 GNN 可以同时学习有用的局部和全局表示，并在多个图分类数据集上进行系统研究，发现我们的策略可避免负面转移并显着提高下游任务的泛化性能，最终达到了在分子性质预测和蛋白质功能预测方面的最先进性能。

    May, 2019

  • 基于知识迁移的图少样本学习

    本文提出了一种基于 Graph Neural Networks 和 graph few-shot learning 算法的半监督节点分类方法，通过传递先前学习的辅助图中的结构知识来改进目标图上的分类精度，并在四个真实世界图数据集上的实验和消融研究中证明了该模型的有效性。

    Oct, 2019

  • 因子图神经网络

    我们提出了一种能够有效捕捉高阶关系进行推理和学习的因子图神经网络模型，并通过适当选择信息聚合操作，实现了 Max-Product 和 Sum-Product 循环置信传播的单一架构。通过在真实和合成数据集上进行广泛的实验评估，证明了该模型的潜力。

    Aug, 2023

  • 多任务设置下的图表示学习的元学习方法

    本文提出了一种新的元学习策略，能够生成可用于多个任务的多任务节点嵌入，并在多个任务上表现出比传统模型更高甚至可比的性能。该方法可以避免同时执行多个任务时出现的困难，是模型不可知和任务不可知的，适用于各种多任务领域。

    Dec, 2020

  • 一种集体学习框架以提高 GNN 表达能力

    本文提出了一种基于集体学习和自监督学习的蒙特卡洛采样框架，用于将当前的 GNN 模型进行增强以实现节点分类，实验结果表明，该方法在五个真实世界的网络数据集上都取得显著的性能提升。

    Mar, 2020

  • 图变换网络

    本论文提出了一种名为 GTNs 的图转换器网络，能够在图上进行节点表示的学习，同时生成新的图结构以及识别原始图上未连接点之间有用的连接。实验表明，GTNs 有效地生成新的图结构，通过卷积在新图上产生具有强大表现力的节点表示，并在三个基准节点分类任务中取得了最佳表现。

    Nov, 2019