图神经网络的泛化和表征限制
该论文从局部到全局的角度,介绍了图神经网络的两种类型 —— 局部信息传递神经网络和全局图变换器,并对不变图网络的收敛特性进行了研究;连接局部信息传递神经网络和全局图变换器;使用局部信息传递神经网络实现了图缩减等全局建模中常用的子程序。
Jun, 2023
在研究中,我们分析了 Graph Neural Networks 在简单认知任务中的能力,并讨论了其在学习所谓的 “identity effects” 时的一般化特性和基本限制。 我们通过两个案例研究来支持我们的理论分析。
Jun, 2023
研究了消息传递神经网络(MPNNs)的泛化能力,并给出了具体适用于具有规范化求和和平均聚合的 MPNNs 的泛化边界。在更现实和具有挑战性的情境下,通过分析简单的随机图、扰动的图标和稀疏图,得出结论表明,只要图形足够大,比训练集的大小复杂,MPNNs 仍然可以有效地泛化。
Apr, 2024
机器学习与图神经网络,尤其是使用图神经网络(GNN)的机器学习,在各个领域的图数据广泛应用中受到了广泛关注。然而,对于 GNN 的性质仍存在理论上的不完备性。最近的理论进展主要集中于阐明 GNN 的粗粒度表达能力,主要使用组合技巧。然而,这些研究与实践并不完全一致,特别是在理解使用随机一阶优化技术训练时 GNN 的泛化行为方面。在本文中,我们将论证图机器学习社区需要将关注点转向发展一个更加平衡的图机器学习理论,重点研究表达能力、泛化和优化的相互作用。
Feb, 2024
本文研究了图神经网络的可扩展性和推广性,并提出了灵活的 GNNs 框架,通过多种节点更新函数和内部循环优化,使网络能够灵活适应新图并在多项推理任务中提高泛化能力。
Sep, 2022
研究了 MPNN 在图分类和回归中的泛化误差,表明 MPNN 的复杂度越高,泛化差距越大;同时,不仅训练样本数,而且图中平均节点数对泛化差距也有影响。从统一收敛结果导出泛化界限,表明在图上应用 MPNN 可以逼近离散化的几何模型上的 MPNN。
Feb, 2022
该论文研究了图神经网络的表达能力,发现了其在深度和宽度受限时可能会失去很大一部分功效,同时提出了一种使分布式计算的经典结果得以重用的新技术,给出了各种图论问题的下界。
Jul, 2019
本文基于 PAC-Bayesian 方法推导出了两种主要的图神经网络(GCNs 和 MPGNNs)的泛化界,进一步显示节点最大度数和权重的谱范数支配了这两种模型的泛化界。
Dec, 2020
本文针对图形分布中局部结构与图形大小相关的情况,探讨了图神经网络在不同大小的图上的泛化能力,发现了一些针对小图很好但对大图表现不佳的全局最小值,提出了两种改善图形大小泛化能力的方法,其中包括一个自我监督学习任务,该任务能够提供在大图中出现的局部结构的有意义表示,并在多个数据集上改善了分类准确度。
Oct, 2020