关于注意力图神经网络中过度平滑现象的揭秘
本研究探讨了图神经网络中的过度平滑问题,并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段,验证了该理论,并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果,结果与有限大小的图卷积网络相吻合。
Jun, 2024
本论文提出了一种新的观点,即深度图卷积网络在训练过程中可以学习抗去平滑化的能力,并设计了一种简单却有效的技巧来改善 GCN 训练,同时在三个引用网络上验证了结论并提供了 GCN 邻域聚合方面的见解。
Mar, 2020
本研究分析图神经网络在层数增加时出现的过度平滑现象,通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件,来说明当嵌入的狄利克雷能量收敛于零时,图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力,可以得到比已有研究更简单的证明,并可处理更多的非线性问题。
Jun, 2020
本文提出了一种使用节点嵌入关系明确缓解图神经网络(GNNs)中超平滑问题的新方法。通过在真实数据集上进行试验,表明利用节点嵌入关系使得 GNN 模型如 Graph Attention Network 对超平滑的鲁棒性更强,并且在更深的 GNNs 下取得更好的性能。我们的方法可以与其他方法结合使用,以获得最佳性能。
Jan, 2023
本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系,发现这两个问题的本质相似性,并提出了一种基于 Ollivier 的 Ricci 曲率边界的随机 Jost 和 Liu 曲率重连算法 (SJLR),该方法比以前的基于曲率的重连方法更简单且更经济实惠,旨在帮助减轻过度平滑或过度挤压的影响并更好地理解这两个问题。
Dec, 2022
本研究分析了 GCN、GCN with bias、ResGCN 和 APPNP 模型的节点特征收敛过程,并提出了 DropEdge 来缓解过平滑问题,其在模拟数据和多个真实基准测试上均表现出显著性能提升。
Aug, 2020
本研究通过理论和实证分析,探讨了深度图注意力中涉及的一些问题现象,包括易受平滑功能影响和光滑累积注意力。由此,研究者提出了一种名为 AEROGNN 的新型 GNN 体系结构,用于深度图注意力,其已被证明可以缓解这些问题。
Jun, 2023
本文提出了一个叫做 Scattering GCN 的方法,将传统图卷积神经网络与几何散射变换和残差卷积相结合,以提高半监督节点分类的性能。实验结果显示,与最新提出的图神经网络相比,这种方法在处理图数据时具有优越性能。
Mar, 2020
本文针对 Transformer-based models 中存在的过度平滑问题,从图的角度进行分析,发现标准化层在过度平滑问题中发挥了关键作用,提出了一种基于层次融合策略的方法以缓解该问题。
Feb, 2022