DiffWire: 通过 Lovász 上界进行归纳图重连
图神经网络是基于图的机器学习的流行模型,本文提出了一种新的图重连框架,通过一系列的重连操作满足降低过度挤压、保持图的局部性和稀疏性等特点,并验证其在多个真实世界基准测试中的有效性。
Oct, 2023
本文提出了一种适用于任何 MPNN 体系结构的框架,通过执行分层依赖的重连来确保图逐渐密集,同时提出了一种可延迟的机制,允许基于层和彼此的距离,节点之间进行跳过连接,并在几个长程任务上验证了该方法,表明它胜过了图转换器和多跳 MPNN。
May, 2023
隐式重连消息传递神经网络 (IPR-MPNNs) 整合了概率性图重连机制,解决了信息传递受限和结构瓶颈导致的问题,实现了跨较大距离的消息传递,并在多个图数据集上取得了最先进的性能,同时保持了显著更快的计算效率。
May, 2024
本文针对图神经网络在传递节点特征时的过度平滑和过度压缩问题,提出了通过改变图结构解决该问题的方法,并给出了不需要训练就能计算节点和图表示的评估设置,结果表明重构底层图对消息传递很少有实际的好处。
May, 2023
利用最近在精确和可微分的 k 子集采样中的进展,我们设计了一种概率重连的消息传递图神经网络(PR-MPNNs),该网络学习在省略不太有益的边的同时添加相关边。首次,我们的理论分析探索了 PR-MPNNs 如何增强表达能力,并且我们确定了它们优于纯随机方法的精确条件。经验证实,我们的方法有效地缓解了如过度压缩和预测能力不足等问题。此外,根据现有的真实世界数据集,我们的方法在预测性能上与传统的 MPNN 模型和最近的图变压器架构相比表现出有竞争力或更好的性能。
Oct, 2023
通过重新构建异质图的图结构,来提高传统的图神经网络在异质图上的性能,我们提出了 Deep Heterophily Graph Rewiring (DHGR) 的方法,并进行了全面的实证研究和分析,验证了其潜力以及其可用性,可作为任何 GNN 的插件模块,能够提高任何 GNNs,在结点分类任务上的性能。
Sep, 2022
本文将图上定义的神经网络呈现为信息传递神经网络(MPNN),通过研究不同类别的这些模型的区别能力,探讨它们的识别能力,研究传统的图神经网络和卷积图神经网络对顶点进行特征标注的能力的界限,并使用 Weisfeiler-Lehman 算法对 MPNNs 的区分能力进行了上下界的研究。
Apr, 2020
本文提出了一种针对图神经网络的对抗攻击方法,通过图重连的操作,使用强化学习生成对于目标模型影响较小的扰动,并在真实图数据集上进行实验及分析,证明该方法的有效性。
Jun, 2019
本文介绍了一个名为 Meta Weight Graph Neural Network 的模型,该模型可以自适应地构建不同节点的图卷积层来提高图神经网络的表达能力,其通过使用元权重模型来生成自适应图卷积来提高节点表示,并在真实和合成基准测试中进行了广泛的实验证明了其在处理具有不同分布的图数据方面具有出色的表现。
Mar, 2022
本文提出了一种基于神经系统突触发生和消失机制的梯度重连算法,用于 SNNs 中的连接性和权重优化,实现了对网络结构的优化而无需重新训练,实验结果表明,该方法能够在 MNIST 和 CIFAR-10 数据集上实现对 SNNs 性能的最小损失,并且在 0.73% 的连接性下,只有约 3.5% 的精度损失,具有优秀的结构优化能力。
May, 2021