本文研究了高维稳健回归估计器的渐近性质以及基于概率启发式的方法解释了其渐近行为，通过随机矩阵理论、集中测度和凸分析的思想提出了严谨证明，这里对某些假设进行了放宽并发现当 $ au=0$ 时可作为极限情况来恢复。

Nov, 2013

近期的机器学习进展通过使用过参数化的模型训练到接近训练数据的插值来实现。 通过双下降现象的展示，已经证明参数数量是模型复杂性和泛化能力的劣质指标。 这引发了一个问题，即了解参数化对这些模型的性能的影响。 本文以随机特征岭回归（Random Feature Ridge Regression）为例进行调查。

Mar, 2024

该研究通过建立偏差 - 方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征， 揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。

Oct, 2020

本文探讨了在高维情况下使用 Lasso 估计器进行线性回归分析中，单个回归系数的 p-value 计算问题，证明了随机设计矩阵的问题可通过解偏差的 Lasso 估计器获得计算解，最后通过统计物理中的 Replica heuristics，推导出普遍高斯设计的标准分布极限。

Jan, 2013

提出并分析了一种基于元学习的方法，其中通过计算具有随机回归系数的高维多元随机效应线性模型的预测风险的精确渐近行为，选择广义岭回归中的权重矩阵为随机系数协方差矩阵的逆作为可扩展的度量；并通过使用从训练任务中获得的数据基于 Riemannian 优化方法提出并分析了估计随机回归系数的逆协方差矩阵的估计器，最后的仿真结果表明了在考虑的框架内所提出的方法对新的未观察到的测试任务的改进泛化性能。

Mar, 2024

研究了高维混合的两个高斯类在噪声条件下的学习，正则化方法可以让分类器达到贝叶斯最优性能，同时分析了正则化程度的影响。

Feb, 2020

用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能，在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的 $S$ 变换特性，从代数的几行直接获得训练和泛化误差的解析公式，能够直观地识别模型性能的幂律缩放来源。计算了广义类随机特征模型的泛化误差，发现在所有模型中，$S$ 变换对应于训练 - 测试泛化差距，并提供了广义交叉验证估计器的类比。利用这些技术，对具有结构化协变量的非常通用的随机特征模型得到了细粒度的偏差 - 方差分解。这些新颖结果使我们能够发现随机特征模型的缩放区域，在超参数设置中特征的方差限制了性能。我们还演示了随机特征模型中异向权重结构如何限制性能，并导致超参数设置中有限宽度修正的非平凡指数。我们的结果扩展并提供了对早期神经缩放定律模型的统一视角。

May, 2024

本文针对随机设计条件下，普通最小二乘估计量和岭回归估计量进行了同时分析，并从协变量 / 响应分布的温和假设出发，提供了关于 “样外” 预测误差的尖锐结论。同时，本文揭示了估计协方差结构错误和建模错误的影响，这两种影响在固定设计条件下并不存在。而本文的主要结果证明是基于简单的分解引理与随机向量和矩阵的浓度不等式结合。

Jun, 2011

本文探讨了随机特征模型和核岭回归之间的联系，并发现了有限 RF 取样的隐式正则化效应，同时对比了使用 KRR 预测器的风险和使用 RF 预测器的平均风险并获得了它们之间差异的明确界限，最终在实验中发现了平均 λ-RF 预测和 tilde λ-KRR 预测器之间的极好一致性。

Feb, 2020

在理想情况下，强正则化可以防止线性回归的过度拟合。然而，当预测空间中有高方差方向可以预测响应变量时，低方差方向提供了隐式的岭正则化，进一步的正岭惩罚将会起到反作用。该研究还发现，在低准则下，明确的岭正则化可能无法提供最小范数最小二乘估计器的改进。

May, 2018