光谱图修剪抵抗过度压缩和过度平滑
本文提出了一种基于谱扩展的计算有效算法,通过系统地添加边来防止过度压缩,该算法结合使用关系架构,可让 GNN 保留原始图形结构并可证明防止过度平滑,实验表明我们的算法在几个图分类任务中优于现有的图重连方法。
Oct, 2022
本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系,发现这两个问题的本质相似性,并提出了一种基于 Ollivier 的 Ricci 曲率边界的随机 Jost 和 Liu 曲率重连算法 (SJLR),该方法比以前的基于曲率的重连方法更简单且更经济实惠,旨在帮助减轻过度平滑或过度挤压的影响并更好地理解这两个问题。
Dec, 2022
本文研究图神经网络中信息传递中的 over-squashing 问题,通过引入基于曲率的重连方法以减轻该问题,同时探究其根源为图中负曲率边所导致的瓶颈现象。
Nov, 2021
提出一种用于分析过度压缩的基于信息收缩的框架,此分析是基于 von Neumann 的可靠计算模型的,该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时,本研究提出了一种基于重连的算法来缓解过度压缩问题。
Aug, 2022
本研究分析了 GCN、GCN with bias、ResGCN 和 APPNP 模型的节点特征收敛过程,并提出了 DropEdge 来缓解过平滑问题,其在模拟数据和多个真实基准测试上均表现出显著性能提升。
Aug, 2020
通过理论分析,证明神经网络节点宽度可以缓解过度压缩问题,而神经网络深度则无法解决此问题。节点距离越远的高通勤时间节点之间出现过度压缩现象,而图形改写属于解决此问题的一类方法。
Feb, 2023
本研究分析图神经网络在层数增加时出现的过度平滑现象,通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件,来说明当嵌入的狄利克雷能量收敛于零时,图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力,可以得到比已有研究更简单的证明,并可处理更多的非线性问题。
Jun, 2020
该论文提出了 DropEdge 技术来解决深层图卷积网络在节点分类中的过拟合和过度平滑问题。DropEdge 技术通过随机在每个训练迭代中移除一定数量的边缘节点来进行数据扩充和信息传递减少,旨在提高广义化效果和模型收敛速度。该技术还可以与其他多个骨干模型一起使用,使得在各种浅层和深层图卷积网络中都能一致提高模型的性能表现。
Jul, 2019
本文研究了图神经网络的过度平滑问题,并提出了两个定量度量指标 MAD 和 MADGap。通过量化实验和分析,我们发现过度平滑是 GNNs 的基本性质,且由于节点接收到的噪声信息比例较高,是导致过度平滑的主要因素。最后我们提出了两种针对拓扑结构的方法:MADReg 和 AdaGraph,证明了这两种方法在 7 个广泛使用的图形数据集上都有效降低了过度平滑问题,并改善了各种 GNN 模型的性能。
Sep, 2019