深度图卷积网络:稳定性与泛化能力的深入研究
本文研究机器学习领域的图半监督学习,提出了基于图卷积网络的深度学习方法,解决了图卷积网络机制不清晰及需要大量标注数据的问题,并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证,研究结果具有实际应用价值。
Jan, 2018
通过消除GCN中的不必要的非线性和权重矩阵,我们提出了一种线性模型,它对应于一个固定的低通滤波器,然后是一个线性分类器。 在许多下游应用中,我们的实验评估表明这种简化并不会对精度产生负面影响。 此外,由于我们的模型简化减少了计算量,因此我们的模型在更大的数据集上具有可扩展性,并且具有更快的推理速度。
Feb, 2019
本文研究了图卷积神经网络在半监督学习环境下的算法稳定性及其一阶推论;通过分析单层GCNN模型的稳定性,导出其一般化保证,提出稳定性关于其卷积核最大绝对特征值的依赖规律,并说明产生保证所需的卷积核最大特征值与图大小无关,为设计保证的算法稳定性的新型及更好的卷积核提供新思路。最后在多个真实世界的图数据集上评估了实验结果,实验结果支持理论结果。
May, 2019
对图神经网络进行研究,通过看其在无穷大层神经元的情况下的渐进行为,探讨了GCNs的表达能力,发现GCNs的表达能力与其底层图的拓扑信息相关,提供了一种基于权值归一化的方法,增强了真实数据下GCNs的性能。
May, 2019
本论文提出了一种新的观点,即深度图卷积网络在训练过程中可以学习抗去平滑化的能力,并设计了一种简单却有效的技巧来改善GCN训练,同时在三个引用网络上验证了结论并提供了GCN邻域聚合方面的见解。
Mar, 2020
本研究通过对随机图模型的分析,研究了图卷积网络(GCN)的性质,包括 GCN 达到其连续对应的收敛性以及 GCN 对随机图小变形的稳定性,这有助于解释卷积表示在欧几里得域中成功的原因。
Jun, 2020
本研究提出了一种使用深度学习解决图像识别问题的方法——GCNII,并通过两种新技术—初始残差和身份映射—缓解了问题过度平滑的问题。实验结果表明深度GCNII模型在半监督和全监督任务中的性能优于现有方法。
Jul, 2020
本文针对图卷积网络(GCNs)在层数增多时表现下降的问题进行了研究,发现合理训练后更深的模型具有极高的训练准确性,但泛化能力较差。通过分析GCNs的泛化能力,本文提出了一种解耦结构,使得GCNs既能保留表达能力,又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。
Oct, 2021
本研究提出一种名为BNS-GCN的简单而有效的方法,采用随机边界节点采样,提高了分布式GCN训练的吞吐量16.2倍,减少了内存使用量高达58%,同时保持全图精度的稳定性,为实现大规模GCN训练开辟了一条新的途径。
Mar, 2022
本文研究了图卷积神经网络在图拓扑的随机小扰动下的稳定性问题,通过导出了一个新的界限,明确了未经扰动和经扰动图卷积神经网络输出之间的期望差异,该界限明确取决于拉普拉斯矩阵特征对的扰动程度以及插入或删除的边。在此基础上,我们定量地描述了特定边的扰动对网络稳定性的影响,并利用小扰动分析工具来以闭合但近似的形式表达界限,以提高结果的解释性,而无需计算任何扰动移位运算符。最后,我们对所提出的界限的有效性进行了数值评估。
Dec, 2023