- ICMLPANDA: 扩展宽度感知的消息传递超越重连
引入一种扩展型宽度感知信息传递(PANDA)的新信息传递范式,在网络结构中选择性地扩展具有高度中心性的节点,以解决 “过度压缩” 问题,并且在实验中表现优于传统的网络重连方法。
- Transformer 需要眼镜!语言任务中的信息过度压缩
研究信息在解码器单独的 Transformer 模型中的传播,发现了表示崩溃现象和对特定标记的敏感性丧失,并提供了简单的解决方案。
- 光谱图修剪抵抗过度压缩和过度平滑
通过删除边可以同时解决过度压缩和过度平滑的问题,从而提高图神经网络的泛化性能,并将谱间隙优化与减少计算资源的目标相连接。
- DeepRicci:自我监督的图结构特征协同细化,缓解过度压缩
通过自我监督的黎曼模型 DeepRicci,利用黎曼几何中的里奇曲率对典型图神经网络进行超平方压缩解决的计算、建模和利用里奇曲率的挑战,通过几何对比学习在不同几何视图之间优化节点特征并通过可微的里奇曲率背向流同时优化图结构
- Riemannian 图神经网络中的过度压缩
本研究探索了通过图神经网络的嵌入空间来减轻过度压缩现象,特别关注于将双曲型图神经网络推广到可变曲率的黎曼流形,以使嵌入空间的几何与图的拓扑相符,通过提供敏感性的界限结果,实现在具有负曲率的图中减轻过度压缩的有希望的理论和实证结果。
- 关于 GNNs 中过度压缩问题的阐述:当前方法,基准和挑战
论文总结了当前文献中过度压缩问题的不同表述,并提出了三种解决这一问题的方法,讨论了过度压缩与可表达能力之间的对齐以及过度压缩与过度平滑之间的权衡,总结了现有工作中用于验证过度压缩缓解方法有效性的实证方法,并列出了一些有待进一步探索过度压缩问 - 概率重连的消息传递神经网络
利用最近在精确和可微分的 k 子集采样中的进展,我们设计了一种概率重连的消息传递图神经网络(PR-MPNNs),该网络学习在省略不太有益的边的同时添加相关边。首次,我们的理论分析探索了 PR-MPNNs 如何增强表达能力,并且我们确定了它们 - 利用 Forman-Ricci 曲率的增强来缓解平滑过度和压扁过度
基于图神经网络的重连技术与曲率属性相关的方法,在提高性能的同时降低了计算成本和搜索超参数的需求。
- 图神经网络中强化平滑与过度压缩的统一:一种基于物理信息的方法及拓展
借鉴于经典和量子物理中常用的反时间原理,本研究颠倒了图热方程的时间方向,产生了一类高通滤波函数,提高了图节点特征的清晰度。基于此概念,引入了基于多尺度热核的图神经网络 (MHKG),通过综合不同的滤波函数对节点特征的影响,进一步将 MHKG - KDD基于曲率的图神经网络中的汇聚
通过利用曲率概念,CurvPool 构建了一个具有更适合结构的图形,以解决图神经网络中的过度平滑和过度压缩问题,并在分类准确性、计算复杂性和灵活性等方面表现出竞争力。
- 图神经网络中的过度压缩现象:一项综合调查
对图神经网络(GNN)中普遍存在的过烈抑制问题进行了细致剖析,探讨了研究者目前提出的改善方法和创新,旨在解决 GNN 领域面临的挑战。
- 图神经网络中的重连效果究竟有多大帮助?
本文针对图神经网络在传递节点特征时的过度平滑和过度压缩问题,提出了通过改变图结构解决该问题的方法,并给出了不需要训练就能计算节点和图表示的评估设置,结果表明重构底层图对消息传递很少有实际的好处。
- ICMLDRew: 动态重连的消息传递与延迟
本文提出了一种适用于任何 MPNN 体系结构的框架,通过执行分层依赖的重连来确保图逐渐密集,同时提出了一种可延迟的机制,允许基于层和彼此的距离,节点之间进行跳过连接,并在几个长程任务上验证了该方法,表明它胜过了图转换器和多跳 MPNN。
- 消息传递神经网络中过度压缩的影响:宽度、深度和拓扑的影响
通过理论分析,证明神经网络节点宽度可以缓解过度压缩问题,而神经网络深度则无法解决此问题。节点距离越远的高通勤时间节点之间出现过度压缩现象,而图形改写属于解决此问题的一类方法。
- 理解图神经网络中过度平滑和过度压缩之间的关系
本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系,发现这两个问题的本质相似性,并提出了一种基于 Ollivier 的 Ricci 曲率边界的随机 Jost 和 Liu 曲率重连算法 (SJLR),该方法比以前的基 - ICLR通过曲率理解图形上的压缩和瓶颈
本文研究图神经网络中信息传递中的 over-squashing 问题,通过引入基于曲率的重连方法以减轻该问题,同时探究其根源为图中负曲率边所导致的瓶颈现象。
- ICLR图神经网络的瓶颈及其实际应用
该研究指出图神经网络(GNN)在信息传播方面存在瓶颈问题,即信息在传输过程中容易被强行压缩而丢失长距离交互信息,而吸收入边的 GNNs 如 GCN 和 GIN 更容易发生这种情况,进一步反映当前模型优化中存在的问题。