GCN的$p$范正则化随机学习的稳定性和泛化性
本文研究机器学习领域的图半监督学习,提出了基于图卷积网络的深度学习方法,解决了图卷积网络机制不清晰及需要大量标注数据的问题,并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证,研究结果具有实际应用价值。
Jan, 2018
本文研究了图卷积神经网络在半监督学习环境下的算法稳定性及其一阶推论;通过分析单层GCNN模型的稳定性,导出其一般化保证,提出稳定性关于其卷积核最大绝对特征值的依赖规律,并说明产生保证所需的卷积核最大特征值与图大小无关,为设计保证的算法稳定性的新型及更好的卷积核提供新思路。最后在多个真实世界的图数据集上评估了实验结果,实验结果支持理论结果。
May, 2019
本论文提出了一种新的观点,即深度图卷积网络在训练过程中可以学习抗去平滑化的能力,并设计了一种简单却有效的技巧来改善GCN训练,同时在三个引用网络上验证了结论并提供了GCN邻域聚合方面的见解。
Mar, 2020
本研究通过对随机图模型的分析,研究了图卷积网络(GCN)的性质,包括 GCN 达到其连续对应的收敛性以及 GCN 对随机图小变形的稳定性,这有助于解释卷积表示在欧几里得域中成功的原因。
Jun, 2020
本文针对图卷积网络(GCNs)在层数增多时表现下降的问题进行了研究,发现合理训练后更深的模型具有极高的训练准确性,但泛化能力较差。通过分析GCNs的泛化能力,本文提出了一种解耦结构,使得GCNs既能保留表达能力,又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。
Oct, 2021
本文从样本复杂度和收敛速率的角度,首次提供了从联合边缘-模型稀疏学习的理论特性,证明了重要节点抽样和低幅度神经元剪枝可以减少样本复杂度,提高收敛速度,而不影响测试精度。
Feb, 2023
本文研究了图卷积神经网络在图拓扑的随机小扰动下的稳定性问题,通过导出了一个新的界限,明确了未经扰动和经扰动图卷积神经网络输出之间的期望差异,该界限明确取决于拉普拉斯矩阵特征对的扰动程度以及插入或删除的边。在此基础上,我们定量地描述了特定边的扰动对网络稳定性的影响,并利用小扰动分析工具来以闭合但近似的形式表达界限,以提高结果的解释性,而无需计算任何扰动移位运算符。最后,我们对所提出的界限的有效性进行了数值评估。
Dec, 2023
本研究基于$K$-functional得出的近似结果,探索了定义在图上的函数的近似理论,并建立了使用图卷积网络(GCNs)评估目标函数近似的下界的理论框架,并研究了GCNs中通常观察到的过度平滑现象。
Jul, 2024
本研究解决了深度图卷积网络在稳定性与泛化能力方面的理论理解缺口。通过系统性阐述关键因素对深度GCN稳定性及泛化能力的影响,本文提供了严谨的界限特征。研究结果可助力于开发更可靠且表现更好的模型。
Oct, 2024
本研究解决了高阶图神经网络(GNN)在大规模网络中建模节点间关系的挑战,提出了一种基于稀疏Sobolev范数的新型图卷积算子S2-GNN。该方法通过利用Hadamard乘积来保持图表示的稀疏性,并在多种图挖掘和半监督节点分类任务中展现出与最先进GNN相当的性能和运行时间。
Nov, 2024