平滑与逼近的桥梁:图神经网络过度平滑的理论洞见
本文从优化的角度解释了当前的图卷积操作存在的过度平滑问题,并引入了两个衡量节点级任务上过度平滑的度量标准,提出了一种新的卷积核 GCN+,并在真实的数据集上证明了其在节点分类任务上的优秀性能表现。
Sep, 2020
本研究探讨了图神经网络中的过度平滑问题,并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段,验证了该理论,并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果,结果与有限大小的图卷积网络相吻合。
Jun, 2024
本研究分析图神经网络在层数增加时出现的过度平滑现象,通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件,来说明当嵌入的狄利克雷能量收敛于零时,图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力,可以得到比已有研究更简单的证明,并可处理更多的非线性问题。
Jun, 2020
本篇论文通过严密的数学分析,将注意力机制的图神经网络视为非线性时变动力系统,并将不均匀矩阵的乘积和联合谱半径的理论工具和技术纳入分析,证明了注意力机制无法避免过度平滑,并且会以指数方式失去表达能力
May, 2023
本研究分析了 GCN、GCN with bias、ResGCN 和 APPNP 模型的节点特征收敛过程,并提出了 DropEdge 来缓解过平滑问题,其在模拟数据和多个真实基准测试上均表现出显著性能提升。
Aug, 2020
本论文提出了一种新的观点,即深度图卷积网络在训练过程中可以学习抗去平滑化的能力,并设计了一种简单却有效的技巧来改善 GCN 训练,同时在三个引用网络上验证了结论并提供了 GCN 邻域聚合方面的见解。
Mar, 2020
本文提出了一个叫做 Scattering GCN 的方法,将传统图卷积神经网络与几何散射变换和残差卷积相结合,以提高半监督节点分类的性能。实验结果显示,与最新提出的图神经网络相比,这种方法在处理图数据时具有优越性能。
Mar, 2020
借鉴于经典和量子物理中常用的反时间原理,本研究颠倒了图热方程的时间方向,产生了一类高通滤波函数,提高了图节点特征的清晰度。基于此概念,引入了基于多尺度热核的图神经网络 (MHKG),通过综合不同的滤波函数对节点特征的影响,进一步将 MHKG 广义化为一种称为 G-MHKG 的模型,并全面展示了控制过度平滑、过度压缩和表现能力的各个元素的作用。本研究发现通过滤波函数的特性可以表征和分析上述问题,并揭示了过度平滑和过度压缩之间的权衡关系:提高节点特征的清晰度会使模型更容易过度压缩,反之亦然。此外,通过再次操作时间,展示了 G-MHKG 在较小条件下如何解决这两个问题。我们的实验结果证明了所提出模型的有效性,其在既具有同质性又具有异质性的图数据集上胜过了几个基线模型。
Sep, 2023
本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力,并采用总变差方法对图扩散模式与社区拓扑进行对齐,最后构建了一种能够预测图中传播流的生成对抗网络。最终,我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。
Jul, 2023