本研究探讨了图神经网络中的过度平滑问题,并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段,验证了该理论,并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果,结果与有限大小的图卷积网络相吻合。
Jun, 2024
本研究分析了 GCN、GCN with bias、ResGCN 和 APPNP 模型的节点特征收敛过程,并提出了 DropEdge 来缓解过平滑问题,其在模拟数据和多个真实基准测试上均表现出显著性能提升。
Aug, 2020
本篇论文通过严密的数学分析,将注意力机制的图神经网络视为非线性时变动力系统,并将不均匀矩阵的乘积和联合谱半径的理论工具和技术纳入分析,证明了注意力机制无法避免过度平滑,并且会以指数方式失去表达能力
May, 2023
本文针对图卷积网络(GCNs)在层数增多时表现下降的问题进行了研究,发现合理训练后更深的模型具有极高的训练准确性,但泛化能力较差。通过分析 GCNs 的泛化能力,本文提出了一种解耦结构,使得 GCNs 既能保留表达能力,又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。
Oct, 2021
本文从优化的角度解释了当前的图卷积操作存在的过度平滑问题,并引入了两个衡量节点级任务上过度平滑的度量标准,提出了一种新的卷积核 GCN+,并在真实的数据集上证明了其在节点分类任务上的优秀性能表现。
Sep, 2020
本文提出了一种名为 DeeperGCN 的新型 Graph Convolutional Networks,它有效地解决了深度较大的 GCNs 存在的梯度消失、过度平滑和过度拟合等问题,实现了对大规模图数据的成功且可靠的训练,并在 Open Graph Benchmark (OGB) 上进行的实验证明其在节点属性预测和图形属性预测的大规模图形学习任务中比现有技术有显著提高。
Jun, 2020
本文提出了一个叫做 Scattering GCN 的方法,将传统图卷积神经网络与几何散射变换和残差卷积相结合,以提高半监督节点分类的性能。实验结果显示,与最新提出的图神经网络相比,这种方法在处理图数据时具有优越性能。
Mar, 2020
本研究分析图神经网络在层数增加时出现的过度平滑现象,通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件,来说明当嵌入的狄利克雷能量收敛于零时,图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力,可以得到比已有研究更简单的证明,并可处理更多的非线性问题。
本文研究了图神经网络中过度平滑的问题,并通过对随机采样自上下文随机块模型(CSBM)的图进行定量分析,从多个方面给出了应对思路。
Dec, 2022
本文研究机器学习领域的图半监督学习,提出了基于图卷积网络的深度学习方法,解决了图卷积网络机制不清晰及需要大量标注数据的问题,并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证,研究结果具有实际应用价值。
Jan, 2018