ICLRNov, 2021

通过曲率理解图形上的压缩和瓶颈

PDF
TL;DR本文研究图神经网络中信息传递中的 over-squashing 问题，通过引入基于曲率的重连方法以减轻该问题，同时探究其根源为图中负曲率边所导致的瓶颈现象。
graph neural networksmessage passing paradigmover-squashingbottleneckscurvature
发现论文，激发创造
  • 图神经网络中的过度压缩现象：一项综合调查

    对图神经网络（GNN）中普遍存在的过烈抑制问题进行了细致剖析，探讨了研究者目前提出的改善方法和创新，旨在解决 GNN 领域面临的挑战。

    Aug, 2023

  • 图神经网络的瓶颈及其实际应用

    该研究指出图神经网络（GNN）在信息传播方面存在瓶颈问题，即信息在传输过程中容易被强行压缩而丢失长距离交互信息，而吸收入边的 GNNs 如 GCN 和 GIN 更容易发生这种情况，进一步反映当前模型优化中存在的问题。

    Jun, 2020

  • 基于信息收缩和图扩展视角的 GNN 过度挤压问题

    提出一种用于分析过度压缩的基于信息收缩的框架，此分析是基于 von Neumann 的可靠计算模型的，该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时，本研究提出了一种基于重连的算法来缓解过度压缩问题。

    Aug, 2022

  • Riemannian 图神经网络中的过度压缩

    本研究探索了通过图神经网络的嵌入空间来减轻过度压缩现象，特别关注于将双曲型图神经网络推广到可变曲率的黎曼流形，以使嵌入空间的几何与图的拓扑相符，通过提供敏感性的界限结果，实现在具有负曲率的图中减轻过度压缩的有希望的理论和实证结果。

    Nov, 2023

  • 理解图神经网络中过度平滑和过度压缩之间的关系

    本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系，发现这两个问题的本质相似性，并提出了一种基于 Ollivier 的 Ricci 曲率边界的随机 Jost 和 Liu 曲率重连算法 (SJLR)，该方法比以前的基于曲率的重连方法更简单且更经济实惠，旨在帮助减轻过度平滑或过度挤压的影响并更好地理解这两个问题。

    Dec, 2022

  • 过度压缩如何影响 GNN 的能力？

    本文针对图结构数据上的机器学习所使用的最先进的模型 —— 图神经网络 (GNNs) 中的信息传递神经网络 (MPNNs) 类进行研究，分析了不同维度的节点特征在 MPNNs 中的表达能力，并通过新颖的量化特征来解释过压缩效应对 MPNNs 表达能力的影响。结果表明，对于大多数实际情况，MPNNs 的表现能力受到严重的限制。

    Jun, 2023

  • 消息传递神经网络中过度压缩的影响：宽度、深度和拓扑的影响

    通过理论分析，证明神经网络节点宽度可以缓解过度压缩问题，而神经网络深度则无法解决此问题。节点距离越远的高通勤时间节点之间出现过度压缩现象，而图形改写属于解决此问题的一类方法。

    Feb, 2023

  • 基于曲率的图神经网络中的汇聚

    通过利用曲率概念，CurvPool 构建了一个具有更适合结构的图形，以解决图神经网络中的过度平滑和过度压缩问题，并在分类准确性、计算复杂性和灵活性等方面表现出竞争力。

    Aug, 2023

  • 利用 Forman-Ricci 曲率的增强来缓解平滑过度和压扁过度

    基于图神经网络的重连技术与曲率属性相关的方法，在提高性能的同时降低了计算成本和搜索超参数的需求。

    Sep, 2023

  • 光谱图修剪抵抗过度压缩和过度平滑

    通过删除边可以同时解决过度压缩和过度平滑的问题，从而提高图神经网络的泛化性能，并将谱间隙优化与减少计算资源的目标相连接。

    Apr, 2024