图神经网络中的重连效果究竟有多大帮助?
图神经网络是基于图的机器学习的流行模型,本文提出了一种新的图重连框架,通过一系列的重连操作满足降低过度挤压、保持图的局部性和稀疏性等特点,并验证其在多个真实世界基准测试中的有效性。
Oct, 2023
本文提出了一种适用于任何 MPNN 体系结构的框架,通过执行分层依赖的重连来确保图逐渐密集,同时提出了一种可延迟的机制,允许基于层和彼此的距离,节点之间进行跳过连接,并在几个长程任务上验证了该方法,表明它胜过了图转换器和多跳 MPNN。
May, 2023
隐式重连消息传递神经网络 (IPR-MPNNs) 整合了概率性图重连机制,解决了信息传递受限和结构瓶颈导致的问题,实现了跨较大距离的消息传递,并在多个图数据集上取得了最先进的性能,同时保持了显著更快的计算效率。
May, 2024
利用最近在精确和可微分的 k 子集采样中的进展,我们设计了一种概率重连的消息传递图神经网络(PR-MPNNs),该网络学习在省略不太有益的边的同时添加相关边。首次,我们的理论分析探索了 PR-MPNNs 如何增强表达能力,并且我们确定了它们优于纯随机方法的精确条件。经验证实,我们的方法有效地缓解了如过度压缩和预测能力不足等问题。此外,根据现有的真实世界数据集,我们的方法在预测性能上与传统的 MPNN 模型和最近的图变压器架构相比表现出有竞争力或更好的性能。
Oct, 2023
本文提出了一个新框架 DiffWire,使用 CT-Layer 和 GAP-Layer 两种新型层,令 Graph Neural Networks 具有更好的表达能力和稳定性,解决了现有 MPNNs 存在的问题。同时,实验证明不同层分别在图分类和节点分类等任务中也有较好表现。
Jun, 2022
提出一种用于分析过度压缩的基于信息收缩的框架,此分析是基于 von Neumann 的可靠计算模型的,该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时,本研究提出了一种基于重连的算法来缓解过度压缩问题。
Aug, 2022
引入一种扩展型宽度感知信息传递(PANDA)的新信息传递范式,在网络结构中选择性地扩展具有高度中心性的节点,以解决 “过度压缩” 问题,并且在实验中表现优于传统的网络重连方法。
Jun, 2024
通过理论分析,证明神经网络节点宽度可以缓解过度压缩问题,而神经网络深度则无法解决此问题。节点距离越远的高通勤时间节点之间出现过度压缩现象,而图形改写属于解决此问题的一类方法。
Feb, 2023
本文提出了一种针对图神经网络的对抗攻击方法,通过图重连的操作,使用强化学习生成对于目标模型影响较小的扰动,并在真实图数据集上进行实验及分析,证明该方法的有效性。
Jun, 2019