ICMLMay, 2023

DRew: 动态重连的消息传递与延迟

PDF
TL;DR本文提出了一种适用于任何 MPNN 体系结构的框架，通过执行分层依赖的重连来确保图逐渐密集，同时提出了一种可延迟的机制，允许基于层和彼此的距离，节点之间进行跳过连接，并在几个长程任务上验证了该方法，表明它胜过了图转换器和多跳 MPNN。
message passing neural networksover-squashinggraph rewiringlayer-dependent rewiringskip connections
发现论文，激发创造
  • 通过虚拟节点的概率图重连

    隐式重连消息传递神经网络 (IPR-MPNNs) 整合了概率性图重连机制，解决了信息传递受限和结构瓶颈导致的问题，实现了跨较大距离的消息传递，并在多个图数据集上取得了最先进的性能，同时保持了显著更快的计算效率。

    May, 2024

  • 概率重连的消息传递神经网络

    利用最近在精确和可微分的 k 子集采样中的进展，我们设计了一种概率重连的消息传递图神经网络（PR-MPNNs），该网络学习在省略不太有益的边的同时添加相关边。首次，我们的理论分析探索了 PR-MPNNs 如何增强表达能力，并且我们确定了它们优于纯随机方法的精确条件。经验证实，我们的方法有效地缓解了如过度压缩和预测能力不足等问题。此外，根据现有的真实世界数据集，我们的方法在预测性能上与传统的 MPNN 模型和最近的图变压器架构相比表现出有竞争力或更好的性能。

    Oct, 2023

  • 图神经网络中的重连效果究竟有多大帮助？

    本文针对图神经网络在传递节点特征时的过度平滑和过度压缩问题，提出了通过改变图结构解决该问题的方法，并给出了不需要训练就能计算节点和图表示的评估设置，结果表明重构底层图对消息传递很少有实际的好处。

    May, 2023

  • DiffWire: 通过 Lovász 上界进行归纳图重连

    本文提出了一个新框架 DiffWire，使用 CT-Layer 和 GAP-Layer 两种新型层，令 Graph Neural Networks 具有更好的表达能力和稳定性，解决了现有 MPNNs 存在的问题。同时，实验证明不同层分别在图分类和节点分类等任务中也有较好表现。

    Jun, 2022

  • PANDA: 扩展宽度感知的消息传递超越重连

    引入一种扩展型宽度感知信息传递（PANDA）的新信息传递范式，在网络结构中选择性地扩展具有高度中心性的节点，以解决 “过度压缩” 问题，并且在实验中表现优于传统的网络重连方法。

    Jun, 2024

  • 自适应信息传递：缓解过度平滑、过度压缩和未能到达的通用框架

    通过在变分推断框架中赋予消息传递架构自由适应其深度和筛选消息的能力，本研究提出了一种能够更好捕捉长程相互作用的简单策略，并在与该问题相关的五个节点和图预测数据集上超越了现有技术水平，稳定提高了基线方法在这些任务上的性能。

    Dec, 2023

  • 消息传递神经网络中过度压缩的影响：宽度、深度和拓扑的影响

    通过理论分析，证明神经网络节点宽度可以缓解过度压缩问题，而神经网络深度则无法解决此问题。节点距离越远的高通勤时间节点之间出现过度压缩现象，而图形改写属于解决此问题的一类方法。

    Feb, 2023

  • 基于本地感知的图重连技术在图神经网络中的应用

    图神经网络是基于图的机器学习的流行模型，本文提出了一种新的图重连框架，通过一系列的重连操作满足降低过度挤压、保持图的局部性和稀疏性等特点，并验证其在多个真实世界基准测试中的有效性。

    Oct, 2023

  • 提升表达能力的非冗余图神经网络

    基于邻域树的新型聚合方案提高了表达能力，减轻了过度压缩，并通过神经树规范化技术提供了高分类准确性。

    Oct, 2023

  • 循环距离编码神经网络用于图表示学习

    通过最短距离和线性循环网络，我们提出了一种新的图神经网络架构，以解决信息提取和计算复杂度的挑战，并在各个基准测试中展示了与最新颖的图转换器相比性能具有竞争力且计算复杂度大大降低。

    Dec, 2023