图神经网络在统计泛化中的多样视角
本文研究机器学习领域的图半监督学习,提出了基于图卷积网络的深度学习方法,解决了图卷积网络机制不清晰及需要大量标注数据的问题,并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证,研究结果具有实际应用价值。
Jan, 2018
本文研究了图卷积神经网络在半监督学习环境下的算法稳定性及其一阶推论;通过分析单层GCNN模型的稳定性,导出其一般化保证,提出稳定性关于其卷积核最大绝对特征值的依赖规律,并说明产生保证所需的卷积核最大特征值与图大小无关,为设计保证的算法稳定性的新型及更好的卷积核提供新思路。最后在多个真实世界的图数据集上评估了实验结果,实验结果支持理论结果。
May, 2019
本文提出一种基于图卷积神经网络的半监督图像分类方法,采用不同类型的流形学习策略,通过无监督学习的方式实现了对于有限标注数据的图像分类任务,实验结果表明该方法优于传统和现有技术,并且运行时间高效。
Apr, 2023
本文通过对图神经网络和流形神经网络在图构建、卷积核和神经网络等方面的分析,得出了一种针对该关系的适当内核及其密集和中等稀疏图的非渐进误差界定理,并探讨了图过滤器的可区别性和近似期望行为之间的权衡关系,并分析了非线性操作的频率混合特性和相同流形采样的几何图的可转移性推论,并在导航控制问题和点云分类任务上验证了其结果。
May, 2023
该研究提供了一个理论框架,用于评估图神经网络在过度参数化阶段中进行图分类任务的泛化误差,其中参数数量超过数据点数量。我们探索了两种广泛使用的图神经网络类型:图卷积神经网络和消息传递图神经网络。在该研究之前,过度参数化阶段对泛化误差的现有界限不具信息性,限制了我们对过度参数化网络性能的理解。我们的新方法涉及在平均场阶段内导出上界,用于评估这些图神经网络的泛化误差。我们建立了收敛速度为$O(1/n)$的上界,其中$n$为图样本数量。这些上界在具有挑战性的过度参数化阶段为网络在未知数据上的性能提供了理论保证,并且总体上有助于我们对它们性能的理解。
Feb, 2024
通过分析图同态性的熵,我们提出了一种新的视角来研究图神经网络的泛化能力,并通过将图同态性与信息论度量联系起来,得出了适用于图和节点分类的泛化界限。通过我们提出的界限,能够捕捉到各种图结构的细微差别,包括但不限于路径、环和完全子图。通过图同态性,我们呈现了一个统一的框架,能够揭示广谱 GNN 模型的特性。通过在真实世界和人工合成数据集上观察到的泛化差距,我们验证了理论发现的实际可应用性。
Mar, 2024
本研究解决了图神经网络(GNN)在训练和测试数据不一致时泛化能力减弱的问题。通过对产生训练和测试数据的流形模型之间存在不匹配的情况进行分析,揭示了GNN在模型不匹配情况下的泛化鲁棒性。研究发现,随着训练图中节点数量的增加,泛化差距减少,但在流形维度增大和不匹配程度加深时,泛化能力受到影响,表明对GNN的滤波器设计提出了新的启示。
Aug, 2024
本研究针对几何图神经网络(GNNs)的泛化能力展开探讨,重点解决GNN在处理由嵌入流形上的随机采样点构建的几何图时的泛化间隙问题。研究表明,随着采样点数量的增加,泛化间隙减小,而流形维度的增加则相应提高该间隙。最重要的发现是,通过构建一个大图,就能够实现泛化能力,而不再局限于图的大小,这为处理未见图提供了新的潜力。
Sep, 2024
本研究解决了深度图卷积网络在稳定性与泛化能力方面的理论理解缺口。通过系统性阐述关键因素对深度GCN稳定性及泛化能力的影响,本文提供了严谨的界限特征。研究结果可助力于开发更可靠且表现更好的模型。
Oct, 2024