本文介绍了用于图数据的新方法 - 图神经正切核 (GNTK),并提出了第一种在 O(n ^ 2N ^ 3)运行时间内构造核矩阵的算法,以加快 GNTK 回归的端到端运行时间。
Dec, 2021
NTK 是理论深度学习领域的一个新兴趋势,通过 Neural Tangent Kernel(NTK)理解深度学习的工作原理。本文中,我们提供了三个新的理论结果,首先正式证明了基于图的回归问题中 GNTK 与无限宽度的多层图神经网络通过梯度下降训练是等效的;其次,我们提供了首个用于节点级回归问题的 GNTK 形式;最后,我们证明了在节点级回归问题中 GNTK 的等效性。
Sep, 2023
神经切向核、对齐、图神经网络、图移位算子和交叉协方差是本研究的关键词,该论文的主要内容是分析过度参数化神经网络的学习和泛化行为的理论机制,以及在图神经网络中优化对齐对图表示和图移位算子的重要性,并通过实验证明使用交叉协方差作为图移位算子的图神经网络在多变量时间序列预测任务中优于仅使用输入数据协方差矩阵的网络。
Oct, 2023
本文提出了一种新的 GNN 框架,称为 “核图神经网络”,将图核函数集成到 GNN 的消息传递过程中,通过卷积滤波器使用可训练图作为图过滤器与子图相结合来更新节点嵌入,并显示 MPNN 可以视为 KerGNN 的特殊情况,该方法在多个图相关任务中表现出具有竞争力的性能,并提高了模型可解释性与传统 GNN 模型相比。
Jan, 2022
该研究提出了一种新型的自适应核图神经网络框架(AKGNN),通过设计一种数据驱动的图内核学习机制来解决预定义核对于不同图之间间的泛化问题,同时通过参数化技巧和全局输出函数增强其表达能力,该方法在公认的基准数据集上展示了优异的性能表现。
提出一种数据集整理框架(GC-SNTK),通过使用基于结构的神经切割核(SNTK)来加速图的整理并保持高预测性能。
本研究证明了在梯度下降算法中,人工神经网络的演化可以被表示为一种核函数,称为神经切向核。它在无限宽度下收敛于一个明确的极限核,并且在训练过程中保持不变,可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明,在无限宽度下,网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后,我们对神经切向核进行了数值研究,观察了其在宽网络中的行为,并将其与无限宽度的极限进行了比较。
Jun, 2018
本文介绍了如何将图神经网络中的归纳偏置引入高斯过程中,以优化其在图结构数据上的预测表现,并得出了一些有趣的成员和提出了一种适用于大规模数据后验推断的协方差矩阵的近似方法,通过这些基于图的协方差矩阵,与相应的图神经网络相比,具有相似的分类和回归性能以及计算时间上的优势。
Feb, 2023
本文介绍并研究了循环神经切线核(RNTK)的性能,证明其能够比其他内核提供更好的性能表现,尤其在处理不同长度输入的情况下表现良好。
Jun, 2020
本文提出了一种任务无关的预训练方法,使得图神经网络(GNNs)可以学习最先进的图内核函数所引发的表示,并在监督学习阶段对任务进行微调,该技术对采用的 GNNs 体系结构和内核函数是不可知的,并且在预实验结果中表现出了启示性的提高表现
Nov, 2018