研究关于核方法泛化误差的精确估计，探讨核函数和神经网络之间的相似性，并引入一族特定的光谱算法，通过学习特征来推导出这种估计，从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达，以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。

Mar, 2024

在这篇论文中，我们在温和且更现实的假设下，对学习曲线进行了全面的描述，详细阐述了正则化参数、源条件和噪声的选择对学习曲线的影响和相互作用。特别地，我们的结果表明，在噪声水平较小时，' 良性过拟合现象 ' 只存在于非常宽的神经网络中。

Sep, 2023

通过高斯过程和统计物理学的理论方法，我们得到了内核回归广义性能的分析表达式，这些表达式是关于训练样本数量的函数。我们的结果适用于具有广泛神经网络的情况，这是由于训练它们和使用神经切向核 (NTK) 的核回归之间的等效性。通过计算核的不同谱成分对总体泛化误差的分解，我们确定了一个新的谱原理：随着训练集大小的增长，核机和神经网络逐渐适应目标功能的更高频谱模式。当数据从高维超球面上的均匀分布中采样时，点积核，包括 NTK，显示出学习阶段，其中学习不同频率模式的目标函数。通过对合成数据和 MNIST 数据集的模拟，我们验证了我们的理论。

Feb, 2020

本研究在假设先验的特征值谱和目标函数的特征展开系数遵循幂律的条件下，表征了高斯过程回归学习曲线的幂律渐近行为，此外，我们利用高斯过程回归和核岭回归之间的等价性来展示了核岭回归的泛化误差；无限宽神经网络可以与高斯过程回归相关联，我们展现了玩具实验来演示理论。

Oct, 2021

探究基于核回归的可推广性误差，解释了以 “简单函数” 为特征的归纳偏差，并表明更多数据可能会损害推广能力，还研究了与无限宽深度神经网络相关的旋转不变内核的数学性质。

Jun, 2020

深度学习模型参数通常大于所需，然而其测试误差在过拟合阈值附近有极值和下降，在过参数化区间反而下降，神经切向核模型可以提供有关真实神经网络的细节。

Aug, 2020

本文通过对梯度下降训练的神经网络的优化轨迹进行研究，展示了学习轨迹可以用大训练时间的显式渐近特征描述。

May, 2021

本研究旨在探讨在高斯设计下的核岭回归 (KRR)。我们研究了噪声和正则化之间的相互作用对异常泛化误差的影响，对各种交叉设置进行了表征，并展示了在样本复杂性增加时从无噪声指数到噪声值之间存在过渡。最后，我们证明了这种交叉行为在现实数据集上也是可观测的。

May, 2021

该论文考虑了使用高斯过程进行回归时，计算学习曲线（即平均泛化性能）的问题，并提出了一种基于协方差函数的特征值分解的一些近似方案，这些新的近似方案通常更接近真实值。

May, 2001

我们研究具有向量值输出的一类正则化算法的理论性质，包括核岭回归、核主成分回归、梯度下降的各种实现等。我们的贡献有两个方面：首先，通过推导出一种新的学习速率下限，我们严格确认了具有向量值输出的岭回归的所谓饱和效应；当回归函数的平滑度超过一定水平时，该下限被证明是次优的。其次，我们给出了适用于有限样本风险的一般向量值谱算法的上限，适用于规范良好和规范错误的情况（真实的回归函数在假设空间之外），在多种情况下都是最小化最优的。我们的所有结果明确允许无限维度的输出变量情况，证明了最近实际应用的一致性。

May, 2024