利用Forman-Ricci曲率的增强来缓解平滑过度和压扁过度
本文研究图神经网络中信息传递中的over-squashing问题, 通过引入基于曲率的重连方法以减轻该问题,同时探究其根源为图中负曲率边所导致的瓶颈现象。
Nov, 2021
提出一种用于分析过度压缩的基于信息收缩的框架,此分析是基于von Neumann的可靠计算模型的,该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时,本研究提出了一种基于重连的算法来缓解过度压缩问题。
Aug, 2022
本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系,发现这两个问题的本质相似性,并提出了一种基于Ollivier的Ricci曲率边界的随机Jost和Liu曲率重连算法(SJLR),该方法比以前的基于曲率的重连方法更简单且更经济实惠,旨在帮助减轻过度平滑或过度挤压的影响并更好地理解这两个问题。
Dec, 2022
通过理论分析,证明神经网络节点宽度可以缓解过度压缩问题,而神经网络深度则无法解决此问题。节点距离越远的高通勤时间节点之间出现过度压缩现象,而图形改写属于解决此问题的一类方法。
Feb, 2023
本文针对图神经网络在传递节点特征时的过度平滑和过度压缩问题,提出了通过改变图结构解决该问题的方法,并给出了不需要训练就能计算节点和图表示的评估设置,结果表明重构底层图对消息传递很少有实际的好处。
May, 2023
本文介绍了一种通过离散图Ricci曲率来增强图神经网络(GNN)的方法,并验证了在GNN中引入曲率信息可以缓解过度平滑等计算问题,并且基于曲率的图边丢弃算法进一步提高了模型对异质图的适应性,在同质图和异质图数据集上均优于现有基准模型,证明了在GNN中引入图几何信息的有效性。
Jul, 2023
通过利用曲率概念,CurvPool构建了一个具有更适合结构的图形,以解决图神经网络中的过度平滑和过度压缩问题,并在分类准确性、计算复杂性和灵活性等方面表现出竞争力。
Aug, 2023
本研究探索了通过图神经网络的嵌入空间来减轻过度压缩现象,特别关注于将双曲型图神经网络推广到可变曲率的黎曼流形,以使嵌入空间的几何与图的拓扑相符,通过提供敏感性的界限结果,实现在具有负曲率的图中减轻过度压缩的有希望的理论和实证结果。
Nov, 2023
通过自我监督的黎曼模型DeepRicci,利用黎曼几何中的里奇曲率对典型图神经网络进行超平方压缩解决的计算、建模和利用里奇曲率的挑战,通过几何对比学习在不同几何视图之间优化节点特征并通过可微的里奇曲率背向流同时优化图结构
Jan, 2024
使用离散图曲率测量方法重新连接图形可有效改善信息传递过程中的瓶颈问题,然而,在实际数据集中对已有方法进行评估时发现,这些方法并不一定能够提高图神经网络的准确性。因此,本研究提供了对图曲率导向的重连接方法在实际数据集中的效果的深入分析,并对评估图神经网络准确性改善方法的方法提出了新的观点。
Jul, 2024