ICMLJun, 2024

PANDA: 扩展宽度感知的消息传递超越重连

PDF
TL;DR引入一种扩展型宽度感知信息传递（PANDA）的新信息传递范式，在网络结构中选择性地扩展具有高度中心性的节点，以解决 “过度压缩” 问题，并且在实验中表现优于传统的网络重连方法。
graph neural networkover-squashingbottleneck phenomenongraph rewiringexpanded width-aware message passing
发现论文，激发创造
  • 基于信息收缩和图扩展视角的 GNN 过度挤压问题

    提出一种用于分析过度压缩的基于信息收缩的框架，此分析是基于 von Neumann 的可靠计算模型的，该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时，本研究提出了一种基于重连的算法来缓解过度压缩问题。

    Aug, 2022

  • 消息传递神经网络中过度压缩的影响：宽度、深度和拓扑的影响

    通过理论分析，证明神经网络节点宽度可以缓解过度压缩问题，而神经网络深度则无法解决此问题。节点距离越远的高通勤时间节点之间出现过度压缩现象，而图形改写属于解决此问题的一类方法。

    Feb, 2023

  • DRew: 动态重连的消息传递与延迟

    本文提出了一种适用于任何 MPNN 体系结构的框架，通过执行分层依赖的重连来确保图逐渐密集，同时提出了一种可延迟的机制，允许基于层和彼此的距离，节点之间进行跳过连接，并在几个长程任务上验证了该方法，表明它胜过了图转换器和多跳 MPNN。

    May, 2023

  • 基于本地感知的图重连技术在图神经网络中的应用

    图神经网络是基于图的机器学习的流行模型，本文提出了一种新的图重连框架，通过一系列的重连操作满足降低过度挤压、保持图的局部性和稀疏性等特点，并验证其在多个真实世界基准测试中的有效性。

    Oct, 2023

  • 提升表达能力的非冗余图神经网络

    基于邻域树的新型聚合方案提高了表达能力，减轻了过度压缩，并通过神经树规范化技术提供了高分类准确性。

    Oct, 2023

  • 图神经网络中的过度压缩现象：一项综合调查

    对图神经网络（GNN）中普遍存在的过烈抑制问题进行了细致剖析，探讨了研究者目前提出的改善方法和创新，旨在解决 GNN 领域面临的挑战。

    Aug, 2023

  • 图神经网络中的重连效果究竟有多大帮助？

    本文针对图神经网络在传递节点特征时的过度平滑和过度压缩问题，提出了通过改变图结构解决该问题的方法，并给出了不需要训练就能计算节点和图表示的评估设置，结果表明重构底层图对消息传递很少有实际的好处。

    May, 2023

  • 过度压缩如何影响 GNN 的能力？

    本文针对图结构数据上的机器学习所使用的最先进的模型 —— 图神经网络 (GNNs) 中的信息传递神经网络 (MPNNs) 类进行研究，分析了不同维度的节点特征在 MPNNs 中的表达能力，并通过新颖的量化特征来解释过压缩效应对 MPNNs 表达能力的影响。结果表明，对于大多数实际情况，MPNNs 的表现能力受到严重的限制。

    Jun, 2023

  • 通过全局和局部的非耗散性解决图形过度压缩

    该论文介绍了一种解决过度压缩问题的新方法，利用全局和局部非耗散性的属性，通过 SWAN 模型实现了信息的稳定流动速率。理论分析和对合成和真实世界基准的实证评估验证了 SWAN 的理论理解和其减轻过度压缩的能力。

    May, 2024

  • 通过曲率理解图形上的压缩和瓶颈

    本文研究图神经网络中信息传递中的 over-squashing 问题，通过引入基于曲率的重连方法以减轻该问题，同时探究其根源为图中负曲率边所导致的瓶颈现象。

    Nov, 2021