使用近似梯度下降学习图神经网络
本研究旨在通过研究梯度下降训练中神经网络中的特征学习理论中图卷积的作用,提供了两层图卷积网络与两层卷积神经网络之间的信号学习和噪声记忆的不同表征,发现图卷积显着增强了对手 CNN 的良性过拟合的范围,并且在梯度下降训练后, GNNs 和 MLPs 在特征学习和泛化能力方面存在重大差异,这一结论在我们的实证模拟中得到了进一步证实。
Jun, 2023
我们研究了使用不重叠过滤器的一层卷积神经网络的样本复杂度,并提出了一种称为近似梯度下降的新算法来训练 CNN,该算法在随机初始化时具有地面真值参数的线性收敛性,并且适用于常规的激活函数,例如 ReLU,Leaky ReLU,Sigmod 和 Softplus 等。我们的样本复杂度超过现有结果,并匹配了具有线性激活函数的一层 CNNs 的信息论下界,表明我们的样本复杂度是紧致的。
Nov, 2019
针对图状数据的学习问题,该研究提出了一种基于递归架构的图神经网络算法,其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。
Dec, 2022
本文利用图信号处理来表征图神经网络(GNNs)的表征空间,讨论了图卷积滤波器在 GNNs 中的作用,并展示了这类滤波器所建立的任何架构都具有置换等变性和对网络拓扑的稳定性的基本属性。然后,我们讨论了扩展了边变量和自回归移动平均图滤波器的 GNNs 以及它们的属性,并最终研究了在推荐系统和学习机器人群体的分散式控制器中使用 GNNs 的相关研究。
Mar, 2020
本文研究 GNN 在梯度动力学方面的优化性质,并证明了在某些情况下,通过跳跃连接、更深或更好的标签分布可以提高训练速度和最终结果的优化,因此建议在实践中使用具有跳跃连接的深度 GNN。
May, 2021
图神经网络(GNN)是用于各种图学习任务的主要架构。我们通过研究 GNN 概率分类器在从某个随机图模型中抽取的较大图上应用时的预测如何演变来呈现 GNN 表达能力的新视角。我们展示了输出收敛为常函数的现象,这个常函数上界了这些分类器能够统一表达的内容。这种收敛现象适用于包括最先进模型在内的广泛类别的 GNN,其中包括均值聚合和图转换器中的基于注意力的机制。我们的结果适用于包括(稀疏的)Erdős-Rényi 模型和随机块模型在内的广泛类别的随机图模型。我们通过实证验证了这些发现,并观察到即使在相对较小的图上,收敛现象已经显现出来。
Mar, 2024
本文研究了将深度学习方法推广到图论领域,通过对比 RNN 和 ConvNet 的效果,将门控边缘和残差技术用于设计神经网络对图学习任务进行分类,获得了比现有方法更高的准确率和更快的速度。
Nov, 2017
本研究提出了一种新的 GNN 架构,结合基于迭代算法的更新规则,解决了现有架构在过度平滑、长距离依赖和对抗攻击等方面存在的问题。结果表明该模型在各种场景下都表现出极高的稳健性和准确性。
Mar, 2021
通过流形理论,分析在由流形样本构造的图上操作的图神经网络的统计泛化差距,研究了图神经网络在节点级和图级任务上的泛化差距。在训练图中节点数量增加时,泛化差距减小,从而保证图神经网络对流形上的未见点的泛化性能。通过多个真实世界数据集验证了我们的理论结果。
Jun, 2024