平滑与逼近的桥梁:图神经网络过度平滑的理论洞见
本文研究了图卷积神经网络在半监督学习环境下的算法稳定性及其一阶推论;通过分析单层GCNN模型的稳定性,导出其一般化保证,提出稳定性关于其卷积核最大绝对特征值的依赖规律,并说明产生保证所需的卷积核最大特征值与图大小无关,为设计保证的算法稳定性的新型及更好的卷积核提供新思路。最后在多个真实世界的图数据集上评估了实验结果,实验结果支持理论结果。
May, 2019
本文研究了图神经网络的过度平滑问题,并提出了两个定量度量指标MAD和MADGap。通过量化实验和分析,我们发现过度平滑是GNNs的基本性质,且由于节点接收到的噪声信息比例较高,是导致过度平滑的主要因素。最后我们提出了两种针对拓扑结构的方法:MADReg和AdaGraph,证明了这两种方法在7个广泛使用的图形数据集上都有效降低了过度平滑问题,并改善了各种GNN模型的性能。
Sep, 2019
本论文提出了一种新的观点,即深度图卷积网络在训练过程中可以学习抗去平滑化的能力,并设计了一种简单却有效的技巧来改善GCN训练,同时在三个引用网络上验证了结论并提供了GCN邻域聚合方面的见解。
Mar, 2020
本研究通过对随机图模型的分析,研究了图卷积网络(GCN)的性质,包括 GCN 达到其连续对应的收敛性以及 GCN 对随机图小变形的稳定性,这有助于解释卷积表示在欧几里得域中成功的原因。
Jun, 2020
本研究分析图神经网络在层数增加时出现的过度平滑现象,通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件,来说明当嵌入的狄利克雷能量收敛于零时,图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力,可以得到比已有研究更简单的证明,并可处理更多的非线性问题。
Jun, 2020
本文针对图卷积网络(GCNs)在层数增多时表现下降的问题进行了研究,发现合理训练后更深的模型具有极高的训练准确性,但泛化能力较差。通过分析GCNs的泛化能力,本文提出了一种解耦结构,使得GCNs既能保留表达能力,又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。
Oct, 2021
本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系,发现这两个问题的本质相似性,并提出了一种基于Ollivier的Ricci曲率边界的随机Jost和Liu曲率重连算法(SJLR),该方法比以前的基于曲率的重连方法更简单且更经济实惠,旨在帮助减轻过度平滑或过度挤压的影响并更好地理解这两个问题。
Dec, 2022
本文探讨了图卷积网络在平滑性和稀疏性之间的权衡,并提出了一种新的随机梯度下降模型来解决这个问题。通过该模型,本文对单层GCN在稀疏性学习中的理论性质进行了分析,并验证了理论结论。
May, 2023
借鉴于经典和量子物理中常用的反时间原理,本研究颠倒了图热方程的时间方向,产生了一类高通滤波函数,提高了图节点特征的清晰度。基于此概念,引入了基于多尺度热核的图神经网络(MHKG),通过综合不同的滤波函数对节点特征的影响,进一步将MHKG广义化为一种称为G-MHKG的模型,并全面展示了控制过度平滑、过度压缩和表现能力的各个元素的作用。本研究发现通过滤波函数的特性可以表征和分析上述问题,并揭示了过度平滑和过度压缩之间的权衡关系:提高节点特征的清晰度会使模型更容易过度压缩,反之亦然。此外,通过再次操作时间,展示了G-MHKG在较小条件下如何解决这两个问题。我们的实验结果证明了所提出模型的有效性,其在既具有同质性又具有异质性的图数据集上胜过了几个基线模型。
Sep, 2023
本研究旨在解决深度图神经网络(GNN)在层数超过8-10时性能急剧下降的问题,强调常见的过平滑现象并非主要原因。通过理论分析和实验,本论文揭示了深度多层感知器的可训练性问题是主要挑战,并提出适当限制梯度流的上界可以显著提升GNN的可训练性。实验结果验证了我们的理论发现与实证证据的一致性,推动了深度图模型的构建新思路。
Aug, 2024