图结构单元消息传递
本文针对图结构数据上的机器学习所使用的最先进的模型 —— 图神经网络 (GNNs) 中的信息传递神经网络 (MPNNs) 类进行研究,分析了不同维度的节点特征在 MPNNs 中的表达能力,并通过新颖的量化特征来解释过压缩效应对 MPNNs 表达能力的影响。结果表明,对于大多数实际情况,MPNNs 的表现能力受到严重的限制。
Jun, 2023
本文讨论了 “超越消息传递” 这一术语的危害性,提出使用更温和的术语 “增强型消息传递”,并指出大多数实际实现都会使用一些技巧来经过一定的修改后,基于消息传递实现任何我们想要在图上计算的函数。
Feb, 2022
提出一种用于分析过度压缩的基于信息收缩的框架,此分析是基于 von Neumann 的可靠计算模型的,该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时,本研究提出了一种基于重连的算法来缓解过度压缩问题。
Aug, 2022
引入一种扩展型宽度感知信息传递(PANDA)的新信息传递范式,在网络结构中选择性地扩展具有高度中心性的节点,以解决 “过度压缩” 问题,并且在实验中表现优于传统的网络重连方法。
Jun, 2024
该研究提出了一种新的、适应性强的信息传递框架 ——bilateral-MP,利用节点类别信息估计成对的模块化梯度,并在聚合函数应用时利用梯度进一步保留全局图结构,在五个中等规模基准数据集上的实验表明,bilateral-MP 可以有效防止过度平滑导致的性能降低。
Feb, 2022
通过在节点特征的基础上传播节点的 One-hot 编码,以学习每个节点周围的本地上下文矩阵以及保证置换等变性的消息和更新函数,我们提出了一种具有强大表达能力和等变性的消息传递框架,用于对图形网络进行建模,实验表明本模型可以更准确地预测合成数据上的图形拓扑性质,并在 ZINC 数据集的分子图回归任务中取得了最优结果。
Jun, 2020
通过理论分析和模拟仿真,我们发现图神经网络中的结构偏差传播导致了隐私泄露问题,基于这些发现,我们提出了一个双重隐私保护框架,该框架有效地保护了节点和链接隐私,同时在节点分类等下游任务中保持高效用。
Aug, 2023
Graph-structured data learning using BuNN, a type of GNN that operates through message diffusion over flat vector bundles and universal node-level expressivity, achieves state-of-the-art results on various real-world tasks.
May, 2024