研究神经网络中的共轭内核和神经切向内核的特征值分布，证明在随机初始化权重、具有近似成对正交性的输入样本和网络宽度与样本大小成线性增长的渐近情况下，CK 和 NTK 的特征值分布会收敛到确定性极限，并描述了 CK 和 NTK 的极限情况，其中 CK 的极限情况是通过在隐藏层之间迭代 Marcenko-Pastur 映射描述的。

May, 2020

通过高斯过程和统计物理学的理论方法，我们得到了内核回归广义性能的分析表达式，这些表达式是关于训练样本数量的函数。我们的结果适用于具有广泛神经网络的情况，这是由于训练它们和使用神经切向核 (NTK) 的核回归之间的等效性。通过计算核的不同谱成分对总体泛化误差的分解，我们确定了一个新的谱原理：随着训练集大小的增长，核机和神经网络逐渐适应目标功能的更高频谱模式。当数据从高维超球面上的均匀分布中采样时，点积核，包括 NTK，显示出学习阶段，其中学习不同频率模式的目标函数。通过对合成数据和 MNIST 数据集的模拟，我们验证了我们的理论。

Feb, 2020

本文通过对神经网络优化过程中的经验性探索，发现神经切向核（NTK）在实际应用中会随着优化而发生重要的和有意义的变化，尤其是它的前几个特征向量会朝向神经网络所学习的目标函数，并成为神经网络输出的基础函数

Oct, 2019

论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

Dec, 2019

通过它们各自的高斯过程和神经切向核，研究各种过度参数化的 CNN 架构的属性，并证明了这些核的特征值随着层级特征的组合而多项式地衰减

Mar, 2022

本文使用神经切向核（NTK）模型研究变量密度对训练动态的影响，结果表明在学习频率为 k 的纯谐波函数时，对于数据在 S^1 上，收敛点 x 的时间复杂度为 O (k^d/p (x))，其中 p (x) 表示 x 处的局部密度。

Mar, 2020

本文探讨了多项式神经网络在图像生成和人脸识别方面的有效性，还研究了神经网络具有低频函数方面的谱偏向性，发现多项式神经网络可以通过引入乘法交互项加速学习，提供了设计架构和学习框架的新洞察。

Feb, 2022

我们研究了线性特征映射非线性版本的尖峰协方差模型，包括共轭核作为特例，并描述了在具有随机权重的神经网络的隐藏层中输入数据的尖峰特征值和特征向量的传播方式。在第二个应用中，我们研究了一种简单的表示学习模式，其中权重矩阵在训练过程中发展出一个秩为一的信号成分，并描述了目标函数与测试数据上的共轭核的尖峰特征向量之间的对齐。

Feb, 2024

本文讨论了 DNN 在梯度下降过程中的动态，并根据所谓的神经切向核（NTK）揭示了 DNN 代价函数海森矩阵的精确洞察力。我们证明，当 NTK 在训练过程中保持不变时，我们可以获得代价函数海森矩阵的渐近谱的完整特征描述。在所谓的平均场极限中，NTK 在训练过程中不固定，我们描述了代价函数海森矩阵的初始化时的前两个矩。

Oct, 2019

宽神经网络的收敛速度和可达函数受到一定偏好，因此需要一种可以根据任务修改此偏好的方法。为此，我们介绍了修改光谱核 (MSKs)，这是一种新型的构造核，可用于近似具有所需特征值的核函数，尽管没有已知的闭式形式。我们利用宽神经网络和神经切线核之间的对偶性，提出了一种预条件梯度下降方法，可以改变梯度下降的轨迹，从而实现多项式和 (在某些情况下) 指数级的训练加速，同时不改变最终解，我们的方法既计算高效又易于实施。

Jul, 2023