核岭回归在幂律衰减下的渐近学习曲线
该研究通过建立偏差-方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征， 揭示了特定的正则化方案下偏差和方差与训练数据数量n 和特征维度d的组合方式对核回归风险曲线的形状的影响。
Oct, 2020
本研究旨在探讨在高斯设计下的核岭回归(KRR)。我们研究了噪声和正则化之间的相互作用对异常泛化误差的影响，对各种交叉设置进行了表征，并展示了在样本复杂性增加时从无噪声指数到噪声值之间存在过渡。最后，我们证明了这种交叉行为在现实数据集上也是可观测的。
May, 2021
本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用ReLU激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过O(n^2)时，超学习风险开始增加，这与最近的实证结果相符。
Jun, 2021
本研究在假设先验的特征值谱和目标函数的特征展开系数遵循幂律的条件下，表征了高斯过程回归学习曲线的幂律渐近行为，此外，我们利用高斯过程回归和核岭回归之间的等价性来展示了核岭回归的泛化误差；无限宽神经网络可以与高斯过程回归相关联，我们展现了玩具实验来演示理论。
Oct, 2021
该论文研究了神经网络等插值方法是否能够在存在噪声的情况下，拟合训练数据而不会表现出灾难性的测试性能，尝试通过“良性过拟合”和“温和过拟合”两个现象进行解释，并首次系统研究了“温和过拟合”的性质及在核（岭）回归中的表现，以及在深度神经网络中的实验结果。
Jul, 2022
本研究发现，神经网络的光滑度才是决定良性过拟合的关键，只有在评估器的导数充分大时才能实现良性过拟合。我们证明在固定维度中，光滑度适中的良性过拟合是不可能的，在回归模型中，采用一系列具有大导数的峰形平滑内核可以实现良性过拟合。通过添加小的高频波动到激活函数中，可以在无限宽的神经网络中实现良性过拟合，从而提高在低维数据集上的泛化性能。
May, 2023
对于几乎所有常见和现实设置，本论文旨在提供一种统一的理论来上界核回归的超额风险。通过提供适用于常见核函数和任意正则化、噪声、输入维度和样本数量的严格界限，并提供核矩阵特征值的相对扰动界限，揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象，从而实现良好的泛化。本研究的结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。
Dec, 2023
我们推导了核矩阵条件数的新界限，并利用它来增强固定输入维度下过参数化区域中核岭回归的非渐近测试误差界限。对于具有多项式谱衰减的核函数，我们得到了先前工作中的界限；对于指数衰减，我们的界限是非平凡和新颖的。我们关于过拟合的结论有两个方面：（i）具有多项式衰减特征谱的核回归器必须很好地概括，即使在存在有噪声标记的训练数据的情况下也是如此；这些模型表现出所谓的有限过拟合；（ii）如果任何核岭回归器的特征谱呈指数衰减，则它概括能力较差，即表现出灾难性过拟合。这进一步为核岭回归器表现出良性过拟合提供了可用的表征，其中核函数的特征谱以次多项式衰减。我们的分析将新的随机矩阵理论（RMT）技术与核岭回归（KRR）文献中的最新工具相结合。
Feb, 2024
本研究探讨了高斯核无岭回归的最小范数插值解决方案的过拟合行为，特别是当样本大小变化时带宽或输入维度的影响。研究表明，在固定维度下，即使带宽变化或调整，无岭解决方案也始终不一致，并且在较大噪声情况下始终优于无预测器；此外，随着维度的增加，本研究首次展示了在带有亚多项式缩放维度的高斯核下的良性过拟合现象。
Sep, 2024