Aug, 2020

针对通用图卷积网络的光滑问题解决

PDF
TL;DR本研究分析了 GCN、GCN with bias、ResGCN 和 APPNP 模型的节点特征收敛过程，并提出了 DropEdge 来缓解过平滑问题，其在模拟数据和多个真实基准测试上均表现出显著性能提升。
gcnover-smoothingdropedgenode classificationexpressivity
发现论文，激发创造
  • DropEdge：面向节点分类的深度图卷积网络

    该论文提出了 DropEdge 技术来解决深层图卷积网络在节点分类中的过拟合和过度平滑问题。DropEdge 技术通过随机在每个训练迭代中移除一定数量的边缘节点来进行数据扩充和信息传递减少，旨在提高广义化效果和模型收敛速度。该技术还可以与其他多个骨干模型一起使用，使得在各种浅层和深层图卷积网络中都能一致提高模型的性能表现。

    Jul, 2019

  • 关于训练图卷积网络深度的可证明优势

    本文针对图卷积网络（GCNs）在层数增多时表现下降的问题进行了研究，发现合理训练后更深的模型具有极高的训练准确性，但泛化能力较差。通过分析 GCNs 的泛化能力，本文提出了一种解耦结构，使得 GCNs 既能保留表达能力，又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。

    Oct, 2021

  • 深度图卷积网络中过度平滑化的重新审视

    本论文提出了一种新的观点，即深度图卷积网络在训练过程中可以学习抗去平滑化的能力，并设计了一种简单却有效的技巧来改善 GCN 训练，同时在三个引用网络上验证了结论并提供了 GCN 邻域聚合方面的见解。

    Mar, 2020

  • 图神经网络并非总是过度平滑

    本研究探讨了图神经网络中的过度平滑问题，并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段，验证了该理论，并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果，结果与有限大小的图卷积网络相吻合。

    Jun, 2024

  • 面向深度图卷积网络的结构感知 DropEdge

    通过实验研究，本文介绍并提出了一种名为 DropEdge++ 的新颖技术，在多层图卷积网络中有效缓解过度平滑的问题，进而提升节点分类的性能。

    Jun, 2023

  • 从优化角度重新审视半监督节点分类中的图卷积网络

    本文从优化的角度解释了当前的图卷积操作存在的过度平滑问题，并引入了两个衡量节点级任务上过度平滑的度量标准，提出了一种新的卷积核 GCN+，并在真实的数据集上证明了其在节点分类任务上的优秀性能表现。

    Sep, 2020

  • 关于注意力图神经网络中过度平滑现象的揭秘

    本篇论文通过严密的数学分析，将注意力机制的图神经网络视为非线性时变动力系统，并将不均匀矩阵的乘积和联合谱半径的理论工具和技术纳入分析，证明了注意力机制无法避免过度平滑，并且会以指数方式失去表达能力

    May, 2023

  • DeeperGCN：训练深度 GCN 所需的全部

    本文提出了一种名为 DeeperGCN 的新型 Graph Convolutional Networks，它有效地解决了深度较大的 GCNs 存在的梯度消失、过度平滑和过度拟合等问题，实现了对大规模图数据的成功且可靠的训练，并在 Open Graph Benchmark (OGB) 上进行的实验证明其在节点属性预测和图形属性预测的大规模图形学习任务中比现有技术有显著提高。

    Jun, 2020

  • 图神经网络中过度平滑问题的注记

    本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。

    Jun, 2020

  • 散射 GCN: 克服图卷积网络的过度平滑问题

    本文提出了一个叫做 Scattering GCN 的方法，将传统图卷积神经网络与几何散射变换和残差卷积相结合，以提高半监督节点分类的性能。实验结果显示，与最新提出的图神经网络相比，这种方法在处理图数据时具有优越性能。

    Mar, 2020