本文研究了神经网络训练动态和泛化界限的一个有力工具 —— 神经切向核（NTK），提出了有限宽度 NTK 理论在多项式神经网络中的应用，证明了在外推和特征偏差方面，多项式神经网络与标准神经网络的差异。

Sep, 2022

本文使用神经切向核（NTK）模型研究变量密度对训练动态的影响，结果表明在学习频率为 k 的纯谐波函数时，对于数据在 S^1 上，收敛点 x 的时间复杂度为 O (k^d/p (x))，其中 p (x) 表示 x 处的局部密度。

Mar, 2020

通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

Jun, 2018

该研究通过对不同频率、组合和方程的简单正弦函数进行一系列数值实验，发现在标准化条件下，具有任意阶微分方程的物理知情神经网络确实存在明显的谱偏差，并随微分方程的阶数而增加。

Jan, 2023

论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

Dec, 2019

本文从谱的角度研究共轭内核（Conjugate Kernel，CK）和神经切向内核（Neural Tangent Kernel，NTK）的特性，分析它们的特征值，得出关于神经网络的初始化分布和训练、泛化特性等问题的新见解，并通过广泛的神经网络实验验证这些见解。

Jul, 2019

本文介绍了物理指导神经网络算法在解决涉及偏微分方程的问题方面的应用，重点研究了在随机梯度下降优化算法下演化的神经网络所用的神经切向核，证实该神经核显著减少了谱偏差的影响，并且通过对广泛神经网络的训练，实验结果表明在高频项存在的情况下，宽度合适的神经网络仍可以收敛于理想的解决方案。

Jun, 2022

本文探讨了如何通过使用复合神经切向核的傅里叶特征网络来克服多层感知器和神经核回归中存在的高频率成分拟合所需的步骤数指数级增加的问题，以提高深度增强学习的效率和稳定性，并取得了令人瞩目的实验结果。

Jun, 2022

通过它们各自的高斯过程和神经切向核，研究各种过度参数化的 CNN 架构的属性，并证明了这些核的特征值随着层级特征的组合而多项式地衰减

Mar, 2022

传统神经网络在学习过程中存在频率偏差，本研究通过偏微分方程研究了神经网络中错误频率的动力学，进一步证明了通过适当选择初始化权重的分布可以消除或控制频率偏差，并实验证实了该原理也适用于多层神经网络。

May, 2024