该研究通过建立偏差 - 方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征， 揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。

Oct, 2020

对大维数据的核回归进行研究，利用 Mendelson 复杂度和度量熵的上界和下界来表征核回归的极小二乘误差率，进一步确定最优极小二乘误差率，并发现该曲线沿着参数变化时呈现多次下降行为和周期平台行为，同时也适用于神经切线核和宽神经网络。

Sep, 2023

对于几乎所有常见和现实设置，本论文旨在提供一种统一的理论来上界核回归的超额风险。通过提供适用于常见核函数和任意正则化、噪声、输入维度和样本数量的严格界限，并提供核矩阵特征值的相对扰动界限，揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象，从而实现良好的泛化。本研究的结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。

Dec, 2023

使用不带显式正则化的核 “无岭” 回归及非线性核函数能完美拟合训练数据，本文分离了最小范数插值解的隐含正则化现象，这是由于输入数据的高维性、核函数的曲率以及数据的几何特性所导致的，并给出了一种数据相关的外样本误差的上界估计。

Aug, 2018

通过 Derive a strictly non-zero 单一泛化受益 & effective dimension 分析 无限制域问题，研究 Feature averaging 引起的压缩群下不变性以及 kernel Hilbert space 和 kernel 的正交分解。

Jun, 2021

我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

Feb, 2024

探究基于核回归的可推广性误差，解释了以 “简单函数” 为特征的归纳偏差，并表明更多数据可能会损害推广能力，还研究了与无限宽深度神经网络相关的旋转不变内核的数学性质。

Jun, 2020

本文研究了在协变量转移下高维核岭回归，并分析了重要性重新加权的作用。我们首先推导了协变量转移下高维核的渐近展开式。通过偏差 - 方差分解，我们在理论上证明了重新加权策略可以降低方差。对于偏差，我们分析了任意或精心选择的规范化尺度对偏差的影响，表明偏差在不同的规范化尺度下表现得非常不同。在我们的分析中，偏差和方差可以由一个数据相关的正则化核的谱衰减特性来描述：原始核矩阵与附加的重新加权矩阵相关联，因此重新加权策略可以被视为一种数据相关的正则化以便更好地理解。此外，我们的分析还提供了协变量转移下核函数 / 向量的渐近展开，具有自己的研究兴趣。

Jun, 2024

本论文研究了在球面上进行方差损失下的未知函数 f * 的学习问题，并研究了神经切向核模型和 Rahimi-Recht 的随机特征模型等两种流行的模型，以及核岭回归。同时，论文探讨了样本数量有限或由于关于度数和样本数的适当估计而未能实现最优化性能时的情况，以及核方法随机选取核函数时的情况。

Apr, 2019

该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

Feb, 2021