Feb, 2024

从算子半群理论的角度理解基于扩散的 GNN 中的过度平滑现象

PDF
TL;DR通过运算子半群理论，本论文探讨了扩散型图神经网络（GNNs）中的过平滑问题并证明了过平滑与扩散算子的遍历性相关。我们提出了一种普适且理论基础良好的方法来缓解扩散型 GNNs 中的过平滑问题，并对我们的理论进行了概率解释，从而与之前的研究建立关联并拓展了理论视野。实验结果显示，这种遍历性破坏项有效地缓解了通过 Dirichlet 能量度量的过平滑，并同时提升了节点分类任务的性能。
oversmoothingdiffusion-based graph neural networksoperator semigroup theoryergodicitydirichlet energy
发现论文，激发创造
  • 图神经网络超平滑的非渐进分析

    本文研究了图神经网络中过度平滑的问题，并通过对随机采样自上下文随机块模型（CSBM）的图进行定量分析，从多个方面给出了应对思路。

    Dec, 2022

  • 关于注意力图神经网络中过度平滑现象的揭秘

    本篇论文通过严密的数学分析，将注意力机制的图神经网络视为非线性时变动力系统，并将不均匀矩阵的乘积和联合谱半径的理论工具和技术纳入分析，证明了注意力机制无法避免过度平滑，并且会以指数方式失去表达能力

    May, 2023

  • 图神经网络中过度平滑问题的注记

    本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。

    Jun, 2020

  • 一种用分数图拉普拉斯算子解决过度平滑问题的方法

    该文研究了图神经网络中过度平滑问题，并针对无向图将其概念推广至有向图，通过引入指向对称规范化拉普拉斯算子并提出分数图拉普拉斯神经 ODE 框架，实现了在节点间传播信息的同时缓解了过度平滑问题，证明了该方法的有效性并在合成和真实世界的有向无向图上进行了广泛实验。

    May, 2023

  • 理解图神经网络中过度平滑和过度压缩之间的关系

    本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系，发现这两个问题的本质相似性，并提出了一种基于 Ollivier 的 Ricci 曲率边界的随机 Jost 和 Liu 曲率重连算法 (SJLR)，该方法比以前的基于曲率的重连方法更简单且更经济实惠，旨在帮助减轻过度平滑或过度挤压的影响并更好地理解这两个问题。

    Dec, 2022

  • 从优化角度重新审视半监督节点分类中的图卷积网络

    本文从优化的角度解释了当前的图卷积操作存在的过度平滑问题，并引入了两个衡量节点级任务上过度平滑的度量标准，提出了一种新的卷积核 GCN+，并在真实的数据集上证明了其在节点分类任务上的优秀性能表现。

    Sep, 2020

  • 图神经网络并非总是过度平滑

    本研究探讨了图神经网络中的过度平滑问题，并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段，验证了该理论，并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果，结果与有限大小的图卷积网络相吻合。

    Jun, 2024

  • 神经束扩散：GNN 中异质性和过度平滑的拓扑视角

    本文探讨细胞鞘理论在图神经网络研究中的应用，研究表明图的基础几何结构与 GNN 在异质性场景下的过度平滑行为有深刻关联。通过学习来自数据的 sheaf，可以获得具有竞争力的表现。

    Feb, 2022

  • 平滑与逼近的桥梁：图神经网络过度平滑的理论洞见

    本研究基于 $K$-functional 得出的近似结果，探索了定义在图上的函数的近似理论，并建立了使用图卷积网络（GCNs）评估目标函数近似的下界的理论框架，并研究了 GCNs 中通常观察到的过度平滑现象。

    Jul, 2024

  • 在连续图扩散函数空间中重新思考和重新设计图神经网络

    本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力，并采用总变差方法对图扩散模式与社区拓扑进行对齐，最后构建了一种能够预测图中传播流的生成对抗网络。最终，我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。

    Jul, 2023