May, 2024

ATNPA: 图神经网络中过度平滑缓解的统一视图

PDF
TL;DR在本研究中，我们提出了 ATNPA（增强、转化、归一化、传播和聚合），总结了图神经网络（GNN）过度平滑的缓解方法，包括三个主题和六个类别的方法，并详细审查了代表性方法，包括它们与 ATNPA 的关系以及其优劣势。这一综述不仅深入了解了该领域现有方法，还为未来研究提供了明确的路线图。
oversmoothinggraph neural networkgnnalleviation approachesatnpa
发现论文，激发创造
  • 从拓扑视角度量和缓解图神经网络的过度平滑问题

    本文研究了图神经网络的过度平滑问题，并提出了两个定量度量指标 MAD 和 MADGap。通过量化实验和分析，我们发现过度平滑是 GNNs 的基本性质，且由于节点接收到的噪声信息比例较高，是导致过度平滑的主要因素。最后我们提出了两种针对拓扑结构的方法：MADReg 和 AdaGraph，证明了这两种方法在 7 个广泛使用的图形数据集上都有效降低了过度平滑问题，并改善了各种 GNN 模型的性能。

    Sep, 2019

  • 图神经网络超平滑的非渐进分析

    本文研究了图神经网络中过度平滑的问题，并通过对随机采样自上下文随机块模型（CSBM）的图进行定量分析，从多个方面给出了应对思路。

    Dec, 2022

  • 关于注意力图神经网络中过度平滑现象的揭秘

    本篇论文通过严密的数学分析，将注意力机制的图神经网络视为非线性时变动力系统，并将不均匀矩阵的乘积和联合谱半径的理论工具和技术纳入分析，证明了注意力机制无法避免过度平滑，并且会以指数方式失去表达能力

    May, 2023

  • 深度图卷积网络中过度平滑化的重新审视

    本论文提出了一种新的观点，即深度图卷积网络在训练过程中可以学习抗去平滑化的能力，并设计了一种简单却有效的技巧来改善 GCN 训练，同时在三个引用网络上验证了结论并提供了 GCN 邻域聚合方面的见解。

    Mar, 2020

  • 可微分分组归一化加深图神经网络

    通过引入两个过度平滑度衡量指标以及可微分的分组正规化技术（DGN），增加同一组内节点的平滑度，同时在不同组之间分离节点分布以显着减轻过度平滑的问题，使得 GNN 模型更加鲁棒，并实现更好的性能与更深层次的 GNN。

    Jun, 2020

  • 图神经网络中过度平滑问题的注记

    本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。

    Jun, 2020

  • PairNorm：解决 GNN 中的过度平滑问题

    本文介绍了 PairNorm，一种新的归一化层，它可以使更深层的图神经网络更加健壮，并显著提高某些问题设置下的性能。

    Sep, 2019

  • 图神经网络并非总是过度平滑

    本研究探讨了图神经网络中的过度平滑问题，并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段，验证了该理论，并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果，结果与有限大小的图卷积网络相吻合。

    Jun, 2024

  • 利用关系嵌入减少图神经网络中的过度平滑

    本文提出了一种使用节点嵌入关系明确缓解图神经网络（GNNs）中超平滑问题的新方法。通过在真实数据集上进行试验，表明利用节点嵌入关系使得 GNN 模型如 Graph Attention Network 对超平滑的鲁棒性更强，并且在更深的 GNNs 下取得更好的性能。我们的方法可以与其他方法结合使用，以获得最佳性能。

    Jan, 2023

  • 图神经网络作为图信号去噪的统一视角

    本篇论文针对图结构数据的表征学习中的聚合操作进行研究，探究 GCN、GAT、PPNP、APPNP 等 GNN 模型的聚合过程与图像去噪问题之间的通用性，进而提出统一图神经网络框架 UGNN，并基于此开发了 ADA-UGNN 模型，通过实验验证了其在自适应平滑性的图中的有效性。

    Oct, 2020