该论文提供了第一个针对具有一个隐层节点信息卷积的图神经网络（GNN）的可证明有效的学习算法，并开发了一种综合性框架来设计和分析 GNN 训练算法的收敛性。提出的算法适用于各种激活函数，包括 ReLU，Leaky ReLU，Sigmoid，Softplus 和 Swish，并对样本复杂度进行了特征化。数值实验进一步验证了理论分析。

Dec, 2020

图神经网络在图结构数据上学习提供了一种新颖的机器学习范例，能够捕捉图数据中的复杂关系和依赖性，从而在社交网络分析、分子化学和网络安全等领域具有重要的影响。本论文旨在深入研究 GNN 与底层硬件的交互方式，并设计专用加速器和新型优化方法，以实现更高效和更快速的 GNN 计算。我们基于对 GNN 计算需求的特征化构建了先进的硬件加速器结构，同时扩展了对图神经网络领域中新型模型的探索，旨在提供不仅高性能而且能适应图计算发展的多功能加速器。

Dec, 2023

研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。

May, 2023

机器学习与图神经网络，尤其是使用图神经网络（GNN）的机器学习，在各个领域的图数据广泛应用中受到了广泛关注。然而，对于 GNN 的性质仍存在理论上的不完备性。最近的理论进展主要集中于阐明 GNN 的粗粒度表达能力，主要使用组合技巧。然而，这些研究与实践并不完全一致，特别是在理解使用随机一阶优化技术训练时 GNN 的泛化行为方面。在本文中，我们将论证图机器学习社区需要将关注点转向发展一个更加平衡的图机器学习理论，重点研究表达能力、泛化和优化的相互作用。

Feb, 2024

本文针对图卷积网络（GCNs）在层数增多时表现下降的问题进行了研究，发现合理训练后更深的模型具有极高的训练准确性，但泛化能力较差。通过分析 GCNs 的泛化能力，本文提出了一种解耦结构，使得 GCNs 既能保留表达能力，又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。

Oct, 2021

研究了具有跳跃连接的深度神经网络模型的梯度下降算法的行为。证明了在超参数化区域内，通过适当的初始化，梯度下降可以以指数速度找到全局最小值。建立了沿着梯度下降路径的泛化误差评估，并得出在目标函数是由初始化定义的核定义的再生核希尔伯特空间（RKHS）时，沿着梯度下降路径存在可推广的提前停止解的结论。此外，还证明了 GD 路径与相关随机特征模型给出的函数之间的一致接近。因此，在这种 “隐式正则化” 环境中，深度神经网络模型退化为一个随机特征模型。结果适用于任何宽度大于输入维度的神经网络。

Apr, 2019

提出了一种基于草图的算法，其训练时间和内存随着图的大小而亚线性增长，通过在少量紧凑的图草图上训练 GNN，避免了与图大小线性相关的复杂性增长，并通过局部敏感哈希（LSH）技术提高草图的质量，实验证明了该算法在大规模图上的可扩展性和竞争性能与完整规模的 GNN 相比。

Jun, 2024

图神经网络 (GNN) 在各种基于图的任务中显示出有效性，然而他们在训练和推理中的低效性给实现规模化的实际世界和大规模图应用带来挑战。为了解决这些关键问题，提出了一系列加速 GNN 训练和推理的算法，吸引了研究界的越来越多的关注。本文对 GNN 中的加速算法进行了系统综述，根据目的将其划分为三个主要主题：训练加速、推理加速和执行加速。具体来说，我们总结和分类了每个主题下的现有方法，并对每个类别的方法进行了详细的描述和特征化分析。此外，我们还回顾了几个与 GNN 加速算法相关的库，并讨论了我们的可扩展图学习 (SGL) 库。最后，我们提出了未来研究的有希望的方向。在我们的 GitHub 仓库中提供了完整的摘要：this https URL。

May, 2024

该研究论文通过对 GNNs 的计算效率进行探讨，提供了该领域的回顾，包括对 GNN 的基本概念的简短教程以及不同算法变体的多个阶段中进行的操作的总结；同时，提供了对当前软件和硬件加速方案的深入分析，并提出了一个面向硬件和软件的、图形感知和通信为中心的 GNN 加速器的愿景。

Sep, 2020

本研究提供了第一个公平、可重复的基准测试，重点研究了训练深度图神经网络中的技巧，并利用该测试在数十个代表性图数据集上进行了全面评估，证明了初始连接、标识映射、分组和批量归一化的有机组合实现了深度 GNN 在大型数据集上的最新成果。

Aug, 2021