该论文介绍了一种名为 Unified Neural Kernel (UNK) 的方法，用于描述神经网络的学习动态以及参数初始化。通过渐进学习步骤，UNK 核的行为呈现类似于 Neural Tangent Kernel (NTK)，而随着学习步骤接近无穷大，其收敛于 Neural Network Gaussian Process (NNGP)。此外，论文还对 UNK 核的均匀紧密性和学习收敛性进行了理论表征，并通过实验证明了该方法的有效性。

Mar, 2024

使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

Jul, 2020

通过使用具有随机初始化的无限宽度深度网络集合的马尔可夫接近学习模型，结合数值评估来合并和统一神经切向核（NTK）和神经网络高斯过程（NNGP）理论，并提供对机器学习中深度神经网络学习过程的全面理解。

Sep, 2023

通过理论结果及数值示例，我们揭示部分微分方程的神经切向核心观点下，非线性微分算子呈现不同行为，以及使用二阶方法训练物理信息神经网络的优势和收敛能力，同时解决谱偏差和收敛速度慢的挑战。

Feb, 2024

本文使用神经切线核（NTK）对敌对训练（AT）过程和性质进行了深入研究，揭示了数据归一化对 AT 的影响以及批归一化层中无偏估计器的重要性，并通过实验探索了内核动力学和提出了更节省时间的 AT 方法，同时利用内核内的频谱特征解决了灾难性过拟合问题。据我们所知，这是首个利用内核动力学观察改进现有 AT 方法的研究。

Dec, 2023

本文通过缩放定律的角度研究神经切向核 (NTK) 及其经验性变量，发现它们无法完全解释神经网络泛化的重要方面。通过实际设置，我们展示了有限宽度神经网络相对于其对应的经验和无穷 NTK 起始时具有显着更好的数据缩放指数，并证明了 NTK 方法在理解自然数据集上真实网络泛化的局限性。

Jun, 2022

该研究提出了一种近似算法，旨在加速使用神经切向核的大规模学习任务，并结合随机特征，通过谱逼近保证精度。实验结果表明，其线性回归器可在 CIFAR-10 数据集上达到与全精度模型相当的准确度，同时提高了 150 倍的速度。

Jun, 2021

本文介绍了神经核网络 (NKN) 的概念，它是一种可以逼近自适应统计学家所使用的复合核结构的灵活的内核族。在进行实验验证的过程中，证明了 NKN 具有发现和推断潜在结构的能力，并且可以用于进行时间序列和纹理外推以及贝叶斯优化任务。

Jun, 2018

从集成变量构建的神经网络理论可以帮助科学家更好地理解学习过程。本研究引入了熵和经验神经切向核（NTK）的迹这两个变量，通过这些变量分析神经网络性能，发现起始熵、NTK 迹和训练后计算的模型泛化之间存在相关性。同时，将该框架应用于神经网络训练的最优数据选择问题，使用随机网络蒸馏（RND）来选择训练数据，并与随机选择数据进行比较。结果表明，RND 选择的数据集不仅能够胜过随机选择，而且相关的集成变量也更大。该研究为神经网络训练数据的选择提供了稳定的理论基础。

May, 2023

本文介绍并研究了循环神经切线核（RNTK）的性能，证明其能够比其他内核提供更好的性能表现，尤其在处理不同长度输入的情况下表现良好。

Jun, 2020