Sep, 2023

Bregman 图神经网络

PDF
TL;DR本文提出了一种灵感来自 Bregman 距离概念的 GNNs 的新型双层优化框架，通过引入类似于 “跳跃连接” 的机制，有效地缓解了过度平滑问题，并证明了该方法在同质性和异质性图中优于原始 GNNs。实验证明，即使层数较高，Bregman GNNs 也能产生更稳健的学习精度，表明了该方法在缓解过度平滑问题方面的有效性。
graph neural networksoptimization problemover-smoothingbregman distanceskip connection
发现论文，激发创造
  • 图神经网络中过度平滑问题的注记

    本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。

    Jun, 2020

  • 可微分分组归一化加深图神经网络

    通过引入两个过度平滑度衡量指标以及可微分的分组正规化技术（DGN），增加同一组内节点的平滑度，同时在不同组之间分离节点分布以显着减轻过度平滑的问题，使得 GNN 模型更加鲁棒，并实现更好的性能与更深层次的 GNN。

    Jun, 2020

  • 利用关系嵌入减少图神经网络中的过度平滑

    本文提出了一种使用节点嵌入关系明确缓解图神经网络（GNNs）中超平滑问题的新方法。通过在真实数据集上进行试验，表明利用节点嵌入关系使得 GNN 模型如 Graph Attention Network 对超平滑的鲁棒性更强，并且在更深的 GNNs 下取得更好的性能。我们的方法可以与其他方法结合使用，以获得最佳性能。

    Jan, 2023

  • 从拓扑视角度量和缓解图神经网络的过度平滑问题

    本文研究了图神经网络的过度平滑问题，并提出了两个定量度量指标 MAD 和 MADGap。通过量化实验和分析，我们发现过度平滑是 GNNs 的基本性质，且由于节点接收到的噪声信息比例较高，是导致过度平滑的主要因素。最后我们提出了两种针对拓扑结构的方法：MADReg 和 AdaGraph，证明了这两种方法在 7 个广泛使用的图形数据集上都有效降低了过度平滑问题，并改善了各种 GNN 模型的性能。

    Sep, 2019

  • 从优化角度重新审视半监督节点分类中的图卷积网络

    本文从优化的角度解释了当前的图卷积操作存在的过度平滑问题，并引入了两个衡量节点级任务上过度平滑的度量标准，提出了一种新的卷积核 GCN+，并在真实的数据集上证明了其在节点分类任务上的优秀性能表现。

    Sep, 2020

  • 基于图去噪的鲁棒图神经网络

    这篇研究提出一种鲁棒的图神经网络实现方法，明确考虑了观察拓扑中的扰动，通过优化可学习参数和真实图形来解决非可微且受限制的优化问题，适用于各种类型的图形，并可整合关于扰动的先验信息。通过多个数值实验评估了该方法的性能。

    Dec, 2023

  • 理解图神经网络中过度平滑和过度压缩之间的关系

    本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系，发现这两个问题的本质相似性，并提出了一种基于 Ollivier 的 Ricci 曲率边界的随机 Jost 和 Liu 曲率重连算法 (SJLR)，该方法比以前的基于曲率的重连方法更简单且更经济实惠，旨在帮助减轻过度平滑或过度挤压的影响并更好地理解这两个问题。

    Dec, 2022

  • 图神经网络并非总是过度平滑

    本研究探讨了图神经网络中的过度平滑问题，并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段，验证了该理论，并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果，结果与有限大小的图卷积网络相吻合。

    Jun, 2024

  • 基于课程学习的图神经网络用于不平衡节点分类

    本文提出了一种基于课程学习的图神经网络框架（GNN-CL），包含两个模块：基于图的过采样和同时调整特征空间中少数类节点间距离的图分类损失和度量学习损失，通过动态调整这两个模块的权重实现更好的泛化和判别能力。该框架在多个广泛使用的图数据集上进行评估，结果表明我们的模型始终优于现有最先进的方法。

    Feb, 2022

  • 通过 GNN 的反向过程区分异质图的邻居表示

    通过逆向消息传递过程，改进了图神经网络中的过度平滑问题，并提高了在异质图中节点分类的预测性能。

    Mar, 2024