Apr, 2023

AGNN:循环使用图正则化神经网络缓解过渡平滑问题

HTML
PDF
TL;DR本研究提出了一种Alternating Graph-regularized Neural Network (AGNN)模型，其中包括Graph Convolutional Layer (GCL)和Graph Embedding Layer (GEL)。GEL通过包含拉普拉斯嵌入项的图正则化优化导出，可以通过从低阶特征空间定期投影到高阶空间来缓解过度平滑问题。通过改进的Adaboost策略聚合来自每一层的输出，并探索多跳邻居的集成嵌入，评估表明，在比较某些多层或多阶图神经网络的性能基础上，AGNN比现有的最先进模型表现更好。
发现论文，激发创造
  • 半监督学习中图卷积网络的深入洞察

    本文研究机器学习领域的图半监督学习，提出了基于图卷积网络的深度学习方法，解决了图卷积网络机制不清晰及需要大量标注数据的问题，并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证，研究结果具有实际应用价值。

    Jan, 2018

  • 从拓扑视角度量和缓解图神经网络的过度平滑问题

    本文研究了图神经网络的过度平滑问题，并提出了两个定量度量指标MAD和MADGap。通过量化实验和分析，我们发现过度平滑是GNNs的基本性质，且由于节点接收到的噪声信息比例较高，是导致过度平滑的主要因素。最后我们提出了两种针对拓扑结构的方法：MADReg和AdaGraph，证明了这两种方法在7个广泛使用的图形数据集上都有效降低了过度平滑问题，并改善了各种GNN模型的性能。

    Sep, 2019

  • 图神经网络中过度平滑问题的注记

    本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。

    Jun, 2020

  • 迈向更深的图神经网络

    本研究对图神经网络进行深入探究，提出了解决深度学习中过度平滑问题的新方法，并通过实验证明了其在引文、合著和共同购买等领域的卓越表现。

    Jul, 2020

  • 从优化角度重新审视半监督节点分类中的图卷积网络

    本文从优化的角度解释了当前的图卷积操作存在的过度平滑问题，并引入了两个衡量节点级任务上过度平滑的度量标准，提出了一种新的卷积核GCN+，并在真实的数据集上证明了其在节点分类任务上的优秀性能表现。

    Sep, 2020

  • 关于训练图卷积网络深度的可证明优势

    本文针对图卷积网络（GCNs）在层数增多时表现下降的问题进行了研究，发现合理训练后更深的模型具有极高的训练准确性，但泛化能力较差。通过分析GCNs的泛化能力，本文提出了一种解耦结构，使得GCNs既能保留表达能力，又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。

    Oct, 2021

  • 图神经扩散网络用于半监督学习

    GND-Nets, a new graph neural network that exploits local and global neighborhood information, is proposed to mitigate the over-smoothing and under-smoothing problems of Graph Convolutional Networks, using a new graph diffusion method called neural diffusions, which integrate neural networks into the conventional linear and nonlinear graph diffusions.

    Jan, 2022

  • Clenshaw图神经网络

    本文介绍 ClenshawGCN 模型，采用 Clenshaw 求和算法增强 GCN 模型的表现力，通过两种残差模块来模拟多项式滤波器，从而提高了在异构图上的学习表现，实验结果表明，我们的模型优于空间和谱 GNN 模型。

    Oct, 2022

  • 利用关系嵌入减少图神经网络中的过度平滑

    本文提出了一种使用节点嵌入关系明确缓解图神经网络（GNNs）中超平滑问题的新方法。通过在真实数据集上进行试验，表明利用节点嵌入关系使得GNN模型如Graph Attention Network对超平滑的鲁棒性更强，并且在更深的GNNs下取得更好的性能。我们的方法可以与其他方法结合使用，以获得最佳性能。

    Jan, 2023

  • 超越图卷积网络：一种解释性的以正则化为中心的优化框架

    本文主要研究在图数据上检测拓扑和语义结构，提出了一种名为tsGCN的图卷积网络，通过可解释的正则化优化框架，成功减少了计算无限阶图卷积的高计算复杂度，并且在八个公共数据集上对分类任务取得了比同类竞争对手更卓越的性能。

    Jan, 2023