Apr, 2024

GRANOLA: 图神经网络的自适应归一化

PDF
TL;DR提出了一种用于图神经网络层的新型图自适应归一化层 GRANOLA，利用随机节点特征在图中传播来产生明确的邻域结构表达，理论支持，并在各种图基准测试中证明了其优越性能。
graph neural network layersoff-the-shelf normalization layersgraph-structured datagranolarandom node features
发现论文，激发创造
  • 图神经网络的图归一化学习

    本文提出了通过优化四个不同层面的加权组合来学习图归一化的方法，其中包括节点归一化、邻接归一化、图归一化和批归一化。在不同数据集和任务中，学到的权重可以选择最优的归一化技巧，实现竞争性结果。

    Sep, 2020

  • GraphNorm：加速图神经网络训练的原则性方法

    本文研究了对图神经网络进行归一化的有效方法，将 InstanceNorm 与 BatchNorm 和 LayerNorm 进行比较，证明了 InstanceNorm 对 GNNs 的预处理效果最好。同时，我们也发现 InstanceNorm 的偏移操作可能会导致 GNNs 的表现能力下降，因此引入了可学习的 GraphNorm 对表现力下降的问题进行纠正，实验证明使用 GraphNorm 推出的 GNN 准确率得到了显著提升。

    Sep, 2020

  • 可微分分组归一化加深图神经网络

    通过引入两个过度平滑度衡量指标以及可微分的分组正规化技术（DGN），增加同一组内节点的平滑度，同时在不同组之间分离节点分布以显着减轻过度平滑的问题，使得 GNN 模型更加鲁棒，并实现更好的性能与更深层次的 GNN。

    Jun, 2020

  • PairNorm：解决 GNN 中的过度平滑问题

    本文介绍了 PairNorm，一种新的归一化层，它可以使更深层的图神经网络更加健壮，并显著提高某些问题设置下的性能。

    Sep, 2019

  • 图随机神经网络用于图半监督学习

    提出了一个名为 GRAPH RANDOM NEURAL NETWORKS (GRAND) 的图随机神经网络框架，通过设计随机传播策略来进行图数据增强，并利用一致性正则化优化不同数据增强下未标记节点的预测一致性，实验证明该方法显著优于现有的基准 GNN 在半监督节点分类上，并且缓解了过度平滑和非鲁棒性问题，展现了比现有 GNN 更好的泛化行为。

    May, 2020

  • GRAN 比 GraphRNN 表现更优：基于节点顺序，核和图嵌入的度量用于图生成器

    研究比较了基于核方法和流形方法的度量方法，发现流形方法在图嵌入空间中优于核方法；在此基础上运用这些度量方法比较了两个常见的图生成模型 GraphRNN 和 GRAN，揭示了节点排序的影响，发现 GRAN 比 GraphRNN 更优，作者的新算法对小型图效果更好。研究还提供了关于数据集选择和节点特征初始化的良好实践指南，并且有开放源代码与可再生实验。

    Jul, 2023

  • 灵活表示多模块图神经网络以实现更好的泛化

    本文研究了图神经网络的可扩展性和推广性，并提出了灵活的 GNNs 框架，通过多种节点更新函数和内部循环优化，使网络能够灵活适应新图并在多项推理任务中提高泛化能力。

    Sep, 2022

  • 图神经网络节点分类的简化方法

    本研究提出了一种特征选择 Graph Neural Network（FSGNN）模型，通过解耦节点特征聚合步骤和深度，使用 softmax 作为聚合的特征的正则化器和 L2 规范化技术，实现了对不同聚合的特征的作用进行实证分析，最终在 9 个基准数据集上创建了一种简单而浅的模型，取得了比现有 GNN 模型更好的性能。

    Nov, 2021

  • 重正化图神经网络

    该论文提出了一种新的方法，即将重整化群理论应用于设计一种新颖的图重连策略，以提高图神经网络在图形相关任务上的性能，结果表明这种方法的有效性和其挖掘各种系统固有复杂性潜力的能力。

    Jun, 2023

  • 残差连接和归一化能够在图神经网络中可证明地防止过度平滑

    本文研究了图神经网络中残差连接和标准化层的作用，并提出了一种名为 GraphNormv2 的归一化层，以解决过度平滑问题。

    Jun, 2024