解耦图神经网络的深度和范围

Jan, 2022

Decoupling the Depth and Scope of Graph Neural Networks

Hanqing Zeng, Muhan Zhang, Yinglong Xia, Ajitesh Srivastava, Andrey Malevich...

TL;DR为了解决现有 GNN 模型在图形和模型规模上的可伸缩性有限的问题，我们提出了一种设计原则来解耦 GNN 的深度和范围，从而获得更好的表达能力和更少的计算成本。

Abstract

State-of-the-art graph neural networks (GNNs) have limited scalability with respect to the graph and model sizes. On large graphs, increasing the model depth often means exponential expansion of the scope (i.e.,

graph neural networks expressivity scalability model depth computation

发现论文，激发创造

关于训练图卷积网络深度的可证明优势

本文针对图卷积网络（GCNs）在层数增多时表现下降的问题进行了研究，发现合理训练后更深的模型具有极高的训练准确性，但泛化能力较差。通过分析 GCNs 的泛化能力，本文提出了一种解耦结构，使得 GCNs 既能保留表达能力，又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。

Oct, 2021

深度图神经网络与浅层子图采样器

本研究提出了一种 “深 GNN，浅采样器” 设计规则，通过利用深层次的 GNN 在一个浅层、局部的子图内传递信息，避免了在全局范围内过度平滑和邻域爆炸的问题，从而提高了 GNN 的准确性和效率。通过采用各种子图采样算法和神经架构扩展，研究人员在最大的公共图形数据集上取得了最先进的准确性，同时大幅减少了硬件成本。

Dec, 2020

迈向更深的图神经网络

本研究对图神经网络进行深入探究，提出了解决深度学习中过度平滑问题的新方法，并通过实验证明了其在引文、合著和共同购买等领域的卓越表现。

Jul, 2020

树分解图神经网络

本文提出了一种基于树分解的图神经网络，可减轻不同层之间的特征平滑，并利用多跳依赖来聚合信息，实验结果表明其在 homophily 和 heterophily 网络的节点分类设置下有卓越的表现。

Aug, 2021

通过图缩减扩展图神经网络规模

本文提出了一种使用图粗化来实现可扩展 GNN 训练的不同方法，详细介绍了图粗化操作的影响和选择方法，并表明图粗化也可看作一种正则化手段。实证结果表明，简单地应用成熟的粗化方法，可以将节点数降低到原来的十分之一而不会导致分类精度的明显下降。

Jun, 2021

GNNs，更强，更深，更快

本研究以 k-hop 子图聚合为基础，提出了一种新的 GNN 表达能力分析视角和名为 SDF 的基于采样的节点级剩余模块，理论推导和大量实验证明 SDF 模块比以前的方法具有更高的表达能力和更高的效率。

May, 2023

解耦图神经网络：同时训练多个简单的 GNN，而不是一个复杂的网络

提出了一种将多层 GNN 分解为多个简单模块的框架，并采用前向和后向训练机制进行高效训练，可以避免由于层数增加导致的依赖性快速增长和大量时间消耗。通过理论证明和实验结果表明，该框架的性能可行且高效。

Apr, 2023

可扩展的 Inception 图神经网络 (SIGN)

本文提出了一种新的、高效且可扩展的图深度学习架构，通过使用不同尺寸的图卷积滤波器，绕过了图采样的必要性，从而允许极快速的训练和推理，同时在比对测试中展现了与其他最先进架构相竞争的表现，对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。

Apr, 2020

图神经网络在节点分类方面逐渐失去表达能力

对图神经网络进行研究，通过看其在无穷大层神经元的情况下的渐进行为，探讨了 GCNs 的表达能力，发现 GCNs 的表达能力与其底层图的拓扑信息相关，提供了一种基于权值归一化的方法，增强了真实数据下 GCNs 的性能。

May, 2019

图消除网络

通过消除冗余进行邻域传播的算法，图消除网络（GENs）提升了节点感知远距离邻域的能力并扩展了网络传播深度。大量实验表明，GENs 在各种图级和节点级数据集上优于现有方法。

Jan, 2024