本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数$f_ heta$在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

Jun, 2018

该研究表明：(a) 在无穷宽度神经网络(NNs)上应用l2 损失(通过梯度下降法)训练，并将学习率设置为无穷小，与 (b) 基于所谓的神经切向核(NTK)的核回归是相等的。在此基础上，对NTK进行高效计算的算法已被提出，表明NTK在低数据任务上表现良好。

Oct, 2019

通过高斯过程和统计物理学的理论方法，我们得到了内核回归广义性能的分析表达式，这些表达式是关于训练样本数量的函数。我们的结果适用于具有广泛神经网络的情况，这是由于训练它们和使用神经切向核(NTK)的核回归之间的等效性。通过计算核的不同谱成分对总体泛化误差的分解，我们确定了一个新的谱原理：随着训练集大小的增长，核机和神经网络逐渐适应目标功能的更高频谱模式。当数据从高维超球面上的均匀分布中采样时，点积核，包括NTK，显示出学习阶段，其中学习不同频率模式的目标函数。通过对合成数据和MNIST数据集的模拟，我们验证了我们的理论。

Feb, 2020

本文介绍并研究了循环神经切线核（RNTK）的性能，证明其能够比其他内核提供更好的性能表现，尤其在处理不同长度输入的情况下表现良好。

Jun, 2020

使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

Jul, 2020

通过实验证明了核方法优于限制宽度的全连接神经网络，并且证实NNGP内核经常优于NT内核，但它们的性能都受到正则化的影响。此外，作者提出了使用 NNGP 和 NT 内核进行预测的最佳实践方法，并在 CIFAR-10 分类任务中取得了最优结果。

Jul, 2020

深度学习模型参数通常大于所需，然而其测试误差在过拟合阈值附近有极值和下降，在过参数化区间反而下降，神经切向核模型可以提供有关真实神经网络的细节。

Aug, 2020

该研究提出了一种近似算法，旨在加速使用神经切向核的大规模学习任务，并结合随机特征，通过谱逼近保证精度。实验结果表明，其线性回归器可在 CIFAR-10 数据集上达到与全精度模型相当的准确度，同时提高了150倍的速度。

Jun, 2021

本研究通过比较特征空间对神经网络是否形成真正代表模型的代理模型，证明了线性特征空间对神经网络的有效性，并提出pNTK是所有内核中最合适的代理特征空间。

May, 2023

研究了神经网络训练方法中激活函数导数不可用时的问题，提出了代理梯度学习（SGL）的理论基础，并利用神经切向核（NTK）的推广——代理梯度NTK分析了SGL，通过数值实验验证了SGL在具有有限宽度和符号激活函数的网络中的有效性。

May, 2024