Dec, 2022

理解图神经网络中过度平滑和过度压缩之间的关系

PDF
TL;DR本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系，发现这两个问题的本质相似性，并提出了一种基于 Ollivier 的 Ricci 曲率边界的随机 Jost 和 Liu 曲率重连算法 (SJLR)，该方法比以前的基于曲率的重连方法更简单且更经济实惠，旨在帮助减轻过度平滑或过度挤压的影响并更好地理解这两个问题。
发现论文，激发创造
  • 图神经网络中的过度压缩现象：一项综合调查

    对图神经网络（GNN）中普遍存在的过烈抑制问题进行了细致剖析，探讨了研究者目前提出的改善方法和创新，旨在解决 GNN 领域面临的挑战。

    Aug, 2023

  • Riemannian 图神经网络中的过度压缩

    本研究探索了通过图神经网络的嵌入空间来减轻过度压缩现象，特别关注于将双曲型图神经网络推广到可变曲率的黎曼流形，以使嵌入空间的几何与图的拓扑相符，通过提供敏感性的界限结果，实现在具有负曲率的图中减轻过度压缩的有希望的理论和实证结果。

    Nov, 2023

  • 通过曲率理解图形上的压缩和瓶颈

    本文研究图神经网络中信息传递中的 over-squashing 问题，通过引入基于曲率的重连方法以减轻该问题，同时探究其根源为图中负曲率边所导致的瓶颈现象。

    Nov, 2021

  • 图神经网络中过度平滑问题的注记

    本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。

    Jun, 2020

  • 基于信息收缩和图扩展视角的 GNN 过度挤压问题

    提出一种用于分析过度压缩的基于信息收缩的框架，此分析是基于 von Neumann 的可靠计算模型的，该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时，本研究提出了一种基于重连的算法来缓解过度压缩问题。

    Aug, 2022

  • 图神经网络中强化平滑与过度压缩的统一：一种基于物理信息的方法及拓展

    借鉴于经典和量子物理中常用的反时间原理，本研究颠倒了图热方程的时间方向，产生了一类高通滤波函数，提高了图节点特征的清晰度。基于此概念，引入了基于多尺度热核的图神经网络 (MHKG)，通过综合不同的滤波函数对节点特征的影响，进一步将 MHKG 广义化为一种称为 G-MHKG 的模型，并全面展示了控制过度平滑、过度压缩和表现能力的各个元素的作用。本研究发现通过滤波函数的特性可以表征和分析上述问题，并揭示了过度平滑和过度压缩之间的权衡关系：提高节点特征的清晰度会使模型更容易过度压缩，反之亦然。此外，通过再次操作时间，展示了 G-MHKG 在较小条件下如何解决这两个问题。我们的实验结果证明了所提出模型的有效性，其在既具有同质性又具有异质性的图数据集上胜过了几个基线模型。

    Sep, 2023

  • 关于 GNNs 中过度压缩问题的阐述：当前方法，基准和挑战

    论文总结了当前文献中过度压缩问题的不同表述，并提出了三种解决这一问题的方法，讨论了过度压缩与可表达能力之间的对齐以及过度压缩与过度平滑之间的权衡，总结了现有工作中用于验证过度压缩缓解方法有效性的实证方法，并列出了一些有待进一步探索过度压缩问题的开放问题和潜在方向。

    Nov, 2023

  • 关于注意力图神经网络中过度平滑现象的揭秘

    本篇论文通过严密的数学分析，将注意力机制的图神经网络视为非线性时变动力系统，并将不均匀矩阵的乘积和联合谱半径的理论工具和技术纳入分析，证明了注意力机制无法避免过度平滑，并且会以指数方式失去表达能力

    May, 2023

  • 图神经网络超平滑的非渐进分析

    本文研究了图神经网络中过度平滑的问题，并通过对随机采样自上下文随机块模型（CSBM）的图进行定量分析，从多个方面给出了应对思路。

    Dec, 2022

  • 基于曲率的图神经网络中的汇聚

    通过利用曲率概念，CurvPool 构建了一个具有更适合结构的图形，以解决图神经网络中的过度平滑和过度压缩问题，并在分类准确性、计算复杂性和灵活性等方面表现出竞争力。

    Aug, 2023