本研究探讨了在比例渐近情况下，基于子采样的岭回归集成，通过分析岭回归集合的平方预测风险，证明了岭无偏估计器的预测风险与含所有可能子样本的完整无岭集合的预测风险相匹配，并证明了广义交叉验证对于估计岭回归集成的预测风险具有强一致性。

Apr, 2023

研究使用重新采样方法估计统计模型的不确定性，探讨其在高维监督回归任务中的性能，特别关注广义线性模型和过参数化区域下的预测一致性与可靠性。

Feb, 2024

通过协方差矩阵和预测误差，我们提出了一种选择向量子集的新方法，该方法可以使得使用该子集的岭估计在整个数据集上的平均预测误差具有强大的统计保证，而无需昂贵的标签表。同时，我们对一种联合子抽样过程进行扩展，称之为卷积抽样，并加速迭代过程，以实现与主要独立同分布子抽样过程之一的杠杆分数基本相同的效率。最后，我们理论上和实验上证明了，当标签昂贵时，卷积抽样比任何独立同分布抽样具有明显的优势。

Oct, 2017

本文探讨了随机特征模型和核岭回归之间的联系，并发现了有限 RF 取样的隐式正则化效应，同时对比了使用 KRR 预测器的风险和使用 RF 预测器的平均风险并获得了它们之间差异的明确界限，最终在实验中发现了平均 λ-RF 预测和 tilde λ-KRR 预测器之间的极好一致性。

Feb, 2020

我们考虑相关的因子回归模型（FRM），并分析经典岭插值器的性能。利用强大的随机对偶理论（RDT）数学引擎，我们得到了基于最优化问题和所有相关优化量的精确闭合形式表征。特别地，我们提供了过度预测风险的表征，清楚地展示了对所有关键模型参数、协方差矩阵、载荷和维度的依赖性。作为过参数化比例的函数，广义最小二乘（GLS）风险也表现出众所周知的双下降（非单调）行为。与经典线性回归模型（LRM）类似，我们证明了这种 FRM 现象可以通过最优调整的岭正则化来平缓。理论结果得到了数值模拟的补充，并观察到两者之间的极好一致性。此外，我们注意到 “岭平滑” 通常在超参数化比例大于 5 时效果有限，并且在超参数化比例大于 10 时几乎没有效果。这加固了最近最流行的神经网络范式之一 ——“零训练（插值）广义良好泛化”—— 在 FRM 估计 / 预测环境中具有更广泛的适用性。

Jun, 2024

本文在高维渐近极端条件下，对岭回归和正则化判别分析在密集随机效应模型中的预测风险进行了统一分析，并提供了两种方法的极限预测风险的明确和高效可计算的表达式。同时，揭示了岭回归和正则化判别分析各自的一些定性见解，本分析基于最近在随机矩阵理论领域的一些新进展。

Jul, 2015

本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

Jun, 2020

证明了在 ridgeless 线性回归中，标签噪声导致的预期平均平方泛化误差的非渐进分布独立下界，并推广了类似的已知结果到过参数化（插值）区域，并适用于具有几乎定概率的全秩特征矩阵的广泛输入分布类，包括根据随机深度神经网络构造的特征映射。

Oct, 2020

本文研究了高维稳健回归估计器的渐近性质以及基于概率启发式的方法解释了其渐近行为，通过随机矩阵理论、集中测度和凸分析的思想提出了严谨证明，这里对某些假设进行了放宽并发现当 $ au=0$ 时可作为极限情况来恢复。

Nov, 2013

研究针对线性回归、低秩逼近和规范相关分析的正规化变体的矩阵草图方法，主要关注能够保留规范问题目标函数值的草图技术，为 ridge regularization 在这些问题上展示了算法资源界限，其中统计维度总是小于秩，并随着规范化程度的增加而减少

Nov, 2016