SF-GNN：深度图神经网络中的消息无损传播自过滤

Jul, 2024

SF-GNN：深度图神经网络中的消息无损传播自过滤

SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network

Yushan Zhu, Wen Zhang, Yajing Xu, Zhen Yao, Mingyang Chen...

TL;DR图神经网络（GNN）通过传播和聚合的方式对图的结构信息进行编码，取得了显著的表征学习性能，但是仅仅叠加 GNN 层可能不会提高模型的性能，甚至可能有害。针对深层 GNN 出现的性能下降现象，我们提出了一种新的观点。我们认为这个问题不是过度平滑或过度压缩的原因，而是由于消息传递过程中低质量节点表示的干扰。我们引入了一种简单而通用的方法 SF-GNN 来解决这个问题。在 SF-GNN 中，我们为每个节点定义了两个表示，一个是节点本身的特征表示，另一个是专门用于传播消息到邻居节点的消息表示。通过自过滤模块评估节点表示的质量，并根据质量评估决定是否将其整合到消息传播中。对同质和异质图的节点分类任务以及知识图谱的链接预测任务的实验表明，我们的方法可以应用于各种 GNN 模型，并在解决深层 GNN 性能下降方面优于现有方法。

Abstract

graph neural network (GNN), with the main idea of encoding graph structure information of graphs by propagation and aggregation, has developed rapidly. It achieved excellent performance in representation learning of multiple types of graphs such as homogeneous graphs, heterogeneous gra

graph neural network performance degradation sf-gnn node representation message propagation

发现论文，激发创造

图上自适应特征传播：超越低通滤波器

提出了一种使用多个可学习谱滤波器的节点注意力机制的柔性图神经网络（GNN）模型，将聚合方案适应性地学习到每个图的谱域，从而更好地应对任意类型的图并在节点分类任务中取得了优越成果。

Mar, 2021

GNNs，更强，更深，更快

本研究以 k-hop 子图聚合为基础，提出了一种新的 GNN 表达能力分析视角和名为 SDF 的基于采样的节点级剩余模块，理论推导和大量实验证明 SDF 模块比以前的方法具有更高的表达能力和更高的效率。

May, 2023

图消除网络

通过消除冗余进行邻域传播的算法，图消除网络（GENs）提升了节点感知远距离邻域的能力并扩展了网络传播深度。大量实验表明，GENs 在各种图级和节点级数据集上优于现有方法。

Jan, 2024

元传播网络用于图少样本半监督学习

本文提出了一种基于元学习和标签传播的图神经网络架构 Meta-PN，以解决有限标记数据下图数据学习的问题，并在多个基准数据集上进行了实验验证。

Dec, 2021

基于信息收缩和图扩展视角的 GNN 过度挤压问题

提出一种用于分析过度压缩的基于信息收缩的框架，此分析是基于 von Neumann 的可靠计算模型的，该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时，本研究提出了一种基于重连的算法来缓解过度压缩问题。

Aug, 2022

异质性下的自监督学习和图分类

本文探讨了自监督学习在异构图表征学习中的表现，并提出了一种基于度量的自监督预训练策略来增强 GRN 的图结构捕捉能力。实验结果表明，该预训练策略在分子属性预测和蛋白质功能预测任务中取得了最先进的性能。

Jun, 2023

重新思考零样本学习的知识图谱传播

本文介绍了一种基于图卷积神经网络、知识图谱和 Dense Graph Propagation 模块的两阶段训练方法，针对多层架构中节点之间的信息传播问题提出了一种精心设计的直接连接方法，通过加权方案进一步提高了信息在图中的传播效率，实验结果表明，该方法在零样本学习中具有优异的性能表现。

May, 2018

情境化信息强化图表示

本论文从理论角度探索了具有不可数节点特征表示的图神经网络的表征能力，提出了一种新颖的软同构关系图卷积网络（SIR-GCN），并通过与其他常用图神经网络的数学关系进行验证，证明其在简单节点和图属性预测任务中优于其他模型。

Mar, 2024

深度图神经网络与浅层子图采样器

本研究提出了一种 “深 GNN，浅采样器” 设计规则，通过利用深层次的 GNN 在一个浅层、局部的子图内传递信息，避免了在全局范围内过度平滑和邻域爆炸的问题，从而提高了 GNN 的准确性和效率。通过采用各种子图采样算法和神经架构扩展，研究人员在最大的公共图形数据集上取得了最先进的准确性，同时大幅减少了硬件成本。

Dec, 2020

图神经网络节点分类的简化方法

本研究提出了一种特征选择 Graph Neural Network（FSGNN）模型，通过解耦节点特征聚合步骤和深度，使用 softmax 作为聚合的特征的正则化器和 L2 规范化技术，实现了对不同聚合的特征的作用进行实证分析，最终在 9 个基准数据集上创建了一种简单而浅的模型，取得了比现有 GNN 模型更好的性能。

Nov, 2021