Feb, 2022

在消息传递中注入池化以提升图神经网络性能

PDF
TL;DR该研究提出了一种新的、适应性强的信息传递框架 ——bilateral-MP，利用节点类别信息估计成对的模块化梯度，并在聚合函数应用时利用梯度进一步保留全局图结构，在五个中等规模基准数据集上的实验表明，bilateral-MP 可以有效防止过度平滑导致的性能降低。
graph neural networksmessage-passing layerover-smoothingbilateral-mpglobal graph structure
发现论文，激发创造
  • 图神经网络中池化的表达能力

    本文研究图神经网络中的池化操作的表现力问题，并介绍了一种可以全面维持 message-passing 层的表现力的池化操作设计原则，进而通过实验验证其在图同构检测上的效果。

    Apr, 2023

  • 持续消息传递

    本文介绍了 Persistent Message Passing (PMP) 机制，该机制为 GNN 的 latent representations 中加入了查询过去状态的能力，从而更好地支持时间依赖性数据结构的查询，允许 GNN 创建新节点来记录历史状态，并在动态时间范围查询上表现出色，具有优于覆盖状态的 GNN 的通用性。

    Mar, 2021

  • 具有图形原始信息的提升消息传递神经网络

    本文研究如何全面利用信息，从理论和实践上提高信息传递神经网络的表现力和可推广性，并提出一种新的名为 INGNN 的图神经网络模型，针对节点分类任务，与目前最先进的方法相比，实验证明其优越性（平均排名 1.78）。

    Oct, 2022

  • 过度压缩如何影响 GNN 的能力？

    本文针对图结构数据上的机器学习所使用的最先进的模型 —— 图神经网络 (GNNs) 中的信息传递神经网络 (MPNNs) 类进行研究，分析了不同维度的节点特征在 MPNNs 中的表达能力，并通过新颖的量化特征来解释过压缩效应对 MPNNs 表达能力的影响。结果表明，对于大多数实际情况，MPNNs 的表现能力受到严重的限制。

    Jun, 2023

  • 大规模随机图上消息传递神经网络的泛化分析

    研究了 MPNN 在图分类和回归中的泛化误差，表明 MPNN 的复杂度越高，泛化差距越大；同时，不仅训练样本数，而且图中平均节点数对泛化差距也有影响。从统一收敛结果导出泛化界限，表明在图上应用 MPNN 可以逼近离散化的几何模型上的 MPNN。

    Feb, 2022

  • 通过虚拟节点的概率图重连

    隐式重连消息传递神经网络 (IPR-MPNNs) 整合了概率性图重连机制，解决了信息传递受限和结构瓶颈导致的问题，实现了跨较大距离的消息传递，并在多个图数据集上取得了最先进的性能，同时保持了显著更快的计算效率。

    May, 2024

  • 基于记忆的消息传递：将传播信息与判别分离

    提出了基于记忆的消息传递方法（MMP），以解决现有消息传递方法在不光滑和噪声建模上的缺陷，通过记忆分离节点信息为鉴别和传播两部分，并发展控制机制和解耦合法则以提高所提出方法的效果和鲁棒性。

    Feb, 2022

  • 使用结构消息传递构建强大且等变的图神经网络

    通过在节点特征的基础上传播节点的 One-hot 编码，以学习每个节点周围的本地上下文矩阵以及保证置换等变性的消息和更新函数，我们提出了一种具有强大表达能力和等变性的消息传递框架，用于对图形网络进行建模，实验表明本模型可以更准确地预测合成数据上的图形拓扑性质，并在 ZINC 数据集的分子图回归任务中取得了最优结果。

    Jun, 2020

  • 让我们达成一致：比较基于消息传递框架下的图卷积网络

    本文将图上定义的神经网络呈现为信息传递神经网络（MPNN），通过研究不同类别的这些模型的区别能力，探讨它们的识别能力，研究传统的图神经网络和卷积图神经网络对顶点进行特征标注的能力的界限，并使用 Weisfeiler-Lehman 算法对 MPNNs 的区分能力进行了上下界的研究。

    Apr, 2020

  • 揭示 GNN 上双隐私保护中消息传递的作用

    通过理论分析和模拟仿真，我们发现图神经网络中的结构偏差传播导致了隐私泄露问题，基于这些发现，我们提出了一个双重隐私保护框架，该框架有效地保护了节点和链接隐私，同时在节点分类等下游任务中保持高效用。

    Aug, 2023