本文研究了对图神经网络进行归一化的有效方法,将 InstanceNorm 与 BatchNorm 和 LayerNorm 进行比较,证明了 InstanceNorm 对 GNNs 的预处理效果最好。同时,我们也发现 InstanceNorm 的偏移操作可能会导致 GNNs 的表现能力下降,因此引入了可学习的 GraphNorm 对表现力下降的问题进行纠正,实验证明使用 GraphNorm 推出的 GNN 准确率得到了显著提升。
Sep, 2020
通过引入两个过度平滑度衡量指标以及可微分的分组正规化技术(DGN),增加同一组内节点的平滑度,同时在不同组之间分离节点分布以显着减轻过度平滑的问题,使得 GNN 模型更加鲁棒,并实现更好的性能与更深层次的 GNN。
Jun, 2020
本文提出了一项引理来解释多种神经网络中的归一化方法,从而能够在统一的框架下解释归一化的概念。我们的结论是,这些归一化方法能够让权重的范数增大,可能会造成攻击性漏洞的风险,同时,证明这些归一化方法可以帮助稳定网络训练。
提出了一种用于图神经网络层的新型图自适应归一化层 GRANOLA,利用随机节点特征在图中传播来产生明确的邻域结构表达,理论支持,并在各种图基准测试中证明了其优越性能。
Apr, 2024
这篇论文提出了 Nested Graph Neural Networks (NGNNs) 框架,通过将节点表示编码为子图而不是子树来表示整个图,从而比 1-WL 更强大地区分几乎所有 r 正则图,并且在基准数据集上表现出高度竞争性表现。
Oct, 2021
本研究提出了一种特征选择 Graph Neural Network(FSGNN)模型,通过解耦节点特征聚合步骤和深度,使用 softmax 作为聚合的特征的正则化器和 L2 规范化技术,实现了对不同聚合的特征的作用进行实证分析,最终在 9 个基准数据集上创建了一种简单而浅的模型,取得了比现有 GNN 模型更好的性能。
Nov, 2021
本文介绍了一个名为 Meta Weight Graph Neural Network 的模型,该模型可以自适应地构建不同节点的图卷积层来提高图神经网络的表达能力,其通过使用元权重模型来生成自适应图卷积来提高节点表示,并在真实和合成基准测试中进行了广泛的实验证明了其在处理具有不同分布的图数据方面具有出色的表现。
Mar, 2022
本文研究了图神经网络中残差连接和标准化层的作用,并提出了一种名为 GraphNormv2 的归一化层,以解决过度平滑问题。
Jun, 2024
本篇论文针对图结构数据的表征学习中的聚合操作进行研究,探究 GCN、GAT、PPNP、APPNP 等 GNN 模型的聚合过程与图像去噪问题之间的通用性,进而提出统一图神经网络框架 UGNN,并基于此开发了 ADA-UGNN 模型,通过实验验证了其在自适应平滑性的图中的有效性。
Oct, 2020
该论文提出了一种新的框架,使用基于节点度数的门控机制动态地调整图神经网络的层数,从而增强信息聚合的能力并减少过度平滑,通过实验验证该模型在多个数据集上表现良好。
May, 2022