Sep, 2020

基于自我图信息最大化的图神经网络迁移学习

PDF
TL;DR该研究提出了一种基于理论基础和实用性的 GNN 传递学习框架，首先提出了一种新颖的图信息视图，并提出通过 EGI (Ego-Graph Information maximization) 来分析实现传递学习目标，其次，当节点特征是结构相关的时，我们对 EGI 的可转移性进行了分析，综合两个真实数据集的实验结果表明具有传递性，在大规模知识图谱的转移学习中表现出良好的效果。
graph neural networktransfer learningego-graph information maximizationgraph laplacianslarge-scale knowledge graphs
发现论文，激发创造
  • Ego-GNNs：利用 Ego 结构在图神经网络中

    本研究提出了新的 Ego-GNN 方法，通过增加在每个节点周围子图中定义的信息来扩展 GNN 的消息传递操作，并证明了 Ego-GNN 比标准消息传递 GNN 更强大，能够识别封闭三角形，从而在绝大多数现实世界的图中更有效地进行节点分类。

    Jul, 2021

  • 预训练图神经网络用于通用结构特征提取

    本文提出一种预训练框架，使用合成图纹理来获取通用图结构信息，提高了已训练模型在不同下游任务上的性能。

    May, 2019

  • 预训练与学习：为图神经网络保留全局信息

    该论文提出了一种名为 G-GNNs 的新型模型，通过无监督预训练获取节点的全局结构和属性特征，然后利用这些特征和原始网络属性，提出了一种 GNN 的并行框架以从这些特征中学习不同的方面。该模型的学习方法可应用于平面图和属性图，并通过 extensive experiments 在三个标准评估图上表现优异，特别地，在属性图学习方面，G-GNNs 在 Cora (84.31%) 和 Pubmed (80.95%) 上建立了新的基准记录。

    Oct, 2019

  • 基于图神经网络的自适应迁移学习

    该研究提出了基于自监督任务的图神经网络（GNN）的迁移学习新范式，其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来，通过元学习来学习辅助任务的权重，对于多任务学习，预训练和微调均表现出色。

    Jul, 2021

  • 使用图度及采样理论的图神经网络可转移性

    通过引入显式的两层图状神经网络 (WNN) 架构，我们证明其能够用最少的网络权重近似带限信号在指定误差容限内，并且通过这一结果，建立了明确的两层 GNN 在收敛于图状函数的一系列充分大图上的可传递性。我们的工作解决了其他 GNN 结果中出现的维度诅咒问题，提供了处理各种大小图形数据的实际解决方案，同时保持性能保证而无需进行大量的重新训练。

    Jul, 2023

  • 图上的逐层训练自监督学习

    图神经网络 (GNN) 的端对端训练在大型图上存在多个存储和计算上的挑战，通过自监督的方式，我们提出了逐层规则化图信息最大化算法以逐层训练 GNN，通过解耦特征传播和特征转换来学习节点表示，从而得出基于对未来输入预测的损失函数。我们在归纳大型图上评估了算法，并展示了类似于其他端对端方法的性能，以及大幅提高的效率，使得能够在一个设备上训练更复杂的模型。我们还展示了我们的算法避免了表示过度平滑的问题，这是深度 GNN 的另一个常见挑战。

    Sep, 2023

  • 一个模型无关的图神经网络用于整合局部和全局信息

    我们提出了一个新的模型无关的图神经网络（MaGNet）框架，能够顺序地集成不同顺序的信息，从高阶邻居中提取知识，并通过识别有影响力的紧凑图结构来提供有意义、可解释的结果。理论上，我们通过经验 Rademacher 复杂性建立了 MaGNet 的泛化误差界，并展示了它在表示逐层邻域混合方面的能力。使用模拟数据进行了全面的数值研究，证明了 MaGNet 相对于几种最先进的替代方法的卓越性能。此外，我们将 MaGNet 应用于一个从脑活动数据中提取关键信息的实际案例研究，从而突显了它在推动科学研究方面的有效性。

    Sep, 2023

  • GPT-GNN：图神经网络的生成预训练

    本文介绍了一种名为 GPT-GNN 的框架，用于解决 Graph Neural Networks 训练问题，通过预训练一个能够自监督地学习到结构和语义属性的 GNN 模型，然后将其传输到 Downstream Tasks 中，从而显著提高了性能。

    Jun, 2020

  • XGNN: 面向图神经网络模型级解释

    提出了一种名为 XGNN 的新方法，通过训练图生成器来解释 GNN 在模型级别的工作，其中将图形生成作为强化学习任务，并利用训练的 GNN 信息对图形生成器进行策略梯度方法的训练，最终可以有效地理解和验证所训练的 GNN 的结果，并在生成的图形上改进 GNN 的性能。

    Jun, 2020

  • 具有图形原始信息的提升消息传递神经网络

    本文研究如何全面利用信息，从理论和实践上提高信息传递神经网络的表现力和可推广性，并提出一种新的名为 INGNN 的图神经网络模型，针对节点分类任务，与目前最先进的方法相比，实验证明其优越性（平均排名 1.78）。

    Oct, 2022