周期激活坐标网络的神经切比雪夫核分析
使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。
Jul, 2020
本文提出了一种基于截断埃尔米特函数的方法，用于近似计算任何多层神经网络的高斯过程核（NNGP）和神经切向核（NTK）矩阵，同时克服了其他方法中数据点必须在单位球上的限制，可适用于任何 $R^d$ 空间中的点集。实验证明，相对于精确的卷积神经切向核计算，该方法在 CIFAR-10 数据集上针对具有 5 层结构的 Myrtle 网络的近似计算中实现了 106 倍的加速。
Sep, 2022
本文研究了深度与宽度相当的全连接 ReLU 网络的神经切向核（Neural Tangent Kernel）及其性质，发现其性质取决于深度与宽度之比以及初始状态下参数分布的情况。结果表明，在超参数空间中，有序、混沌和混沌边缘三个阶段很重要。在混沌和混沌边缘阶段，NTK 可变性随着深度呈指数增长，但在有序阶段则不会，此外还展示了深度神经网络的 NTK 只有在有序阶段中才能在训练过程中保持恒定，并探讨了 NTK 矩阵在训练过程中的结构变化。
Feb, 2022
本文通过对神经切向核的分析，提供深度 ReLU 网络 NTK 矩阵的最小特征值的紧密界限，考虑了有限和无限宽度的极端情况，研究了神经网络的内部特征矩阵的最小奇异值和输入输出特征映射的 Lipschitz 常数的上界。
Dec, 2020
我们提出了一种基于神经切向核函数（NTKs）的理论方法来研究神经网络在捕捉精确知识方面的潜在机制，并发现激活函数的选择会影响特征提取，此外我们还发现自注意力模型和 CNN 模型在学习 n 元语法方面的局限性，而基于乘法的模型则在该领域表现出色。我们的研究提供了对大型语言模型基本组件在角色和能力方面的深入理解，从而推动对这些复杂系统的更广泛理解。
Oct, 2023
本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。
Jun, 2018
本文研究了有限宽度的深度全连接神经网络中神经切向核的动态，并推导出一个无穷层次的普通微分方程组，它捕捉了深层神经网络的梯度下降动态。此外，在条件限制下，研究证明了 NTH 的截断层次近似于 NTK 的动态。这些描述使直接研究深度神经网络的 NTK 的变化成为可能，同时也揭示了深度神经网络胜过相应极限 NTK 的内在原因。
Sep, 2019