深度神经切向核和拉普拉斯核具有相同的RKHS
本文研究了一种最近提出的伪造大型神经网络计算的正定核族。作者采用微分几何工具来研究这些核的性质，具体地，分析了这些核引起的希尔伯特空间表面的几何特征。当该几何被描述为一个黎曼流形时，作者针对其度量、曲率和体积元素导出了结论。值得注意的是，他们发现这个族中最简单的核不允许这样的解释，因此研究了两个用于类神经网络计算的修改的核。作者在多个数据集上实验了这些新的核，并强调了它们在分类中的普遍趋势。
Dec, 2011
本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数$f_ heta$在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。
Jun, 2018
本研究分析了神经网络中梯度下降法的学习动态，发现学习过程受一个称为神经切向核的初始化方式所掌控，比较了该核与其他类似结构的核函数的平滑性、逼近性和稳定性等属性，并考察了卷积网络在图像变形下的稳定性。
May, 2019
该论文阐述了大规模超参数神经网络等效于使用神经切核（NTK）的核回归器；将NTK与完全连接网络的标准拉普拉斯核相比较，理论和实验证明两个核具有相同的特性和功效，因此在神经网络的分析中将标准拉普拉斯核作为一个简单的表达式有很多作用。
Jul, 2020
本文研究了深度神经网络的泛化能力问题，探讨了其与神经切向核回归的关系，并分析了核的谱性质，得出了多层宽神经网络使用梯度下降等算法在早期停止时能够获得最佳性能的结论。
May, 2023
通过结合再生核Hilbert $C^*$-模与Perron-Frobenius算子来设计和分析深度再生核方法，提出了适用于核方法的深度学习框架deep RKHM，基于$C^*$代数导出了一种新的Rademacher广义界，并通过Perron-Frobenius算子对无害过拟合进行了理论解释。
May, 2023
通过使用神经网络来近似再生核希尔伯特空间中的泛函的普适性，以及将其应用于广义函数线性模型的函数回归，本研究探讨了将功能性数据（如时间序列和图像）整合到神经网络中学习函数空间到R的映射（即泛函）的方法。同时，通过在再生核希尔伯特空间中建立内插正交投影，提出的网络简化了现有的功能学习工作，使用点评估替代基函数展开。
Mar, 2024