本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

Jun, 2018

本文研究了有限宽度的深度全连接神经网络中神经切向核的动态，并推导出一个无穷层次的普通微分方程组，它捕捉了深层神经网络的梯度下降动态。此外，在条件限制下，研究证明了 NTH 的截断层次近似于 NTK 的动态。这些描述使直接研究深度神经网络的 NTK 的变化成为可能，同时也揭示了深度神经网络胜过相应极限 NTK 的内在原因。

Sep, 2019

该论文介绍了一种名为 Unified Neural Kernel (UNK) 的方法，用于描述神经网络的学习动态以及参数初始化。通过渐进学习步骤，UNK 核的行为呈现类似于 Neural Tangent Kernel (NTK)，而随着学习步骤接近无穷大，其收敛于 Neural Network Gaussian Process (NNGP)。此外，论文还对 UNK 核的均匀紧密性和学习收敛性进行了理论表征，并通过实验证明了该方法的有效性。

Mar, 2024

通过使用具有随机初始化的无限宽度深度网络集合的马尔可夫接近学习模型，结合数值评估来合并和统一神经切向核（NTK）和神经网络高斯过程（NNGP）理论，并提供对机器学习中深度神经网络学习过程的全面理解。

Sep, 2023

使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

Jul, 2020

本文研究了软树决策树的神经切向核（NTK）并发现只有每个深度的叶子节点数是固定的，就算不同的树架构也可以在功能空间中拥有相同的训练行为和泛化性能，同时对称和不对称树的 NTK 表现出不同的性质。

May, 2022

本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

Jun, 2019

本文探讨了存在 “瓶颈” 的 BNNs 的宽限制，其中一些隐藏层被保持在有限宽度，结果是一种高斯过程的组合，我们称之为 “瓶颈神经网络高斯过程”（bottleneck NNGP），并分析了单个瓶颈 NNGP 的理论，发现瓶颈在极端深度通过产生输出之间的相关性，并防止网络的内核在极端深度失去区分能力。

Jan, 2020

本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

Nov, 2017

通过 NNs 和 GPs 之间的等价性，研究多头关注层体系结构并评估其在 GP 中的应用，通过对注意力内核的评估，提出了改进的注意力机制，并介绍了新特性，将 NNGP / NTK 模型应用于变长序列。

Jun, 2020