岭回归随机设计分析
本文从均方误差的角度对 ridgeless interpolation least squares estimator 进行分析，证明相对于样本大小引入大量不重要的参数能够有效降低估计器的均方误差，并且利用回归误差的方差 - 协方差矩阵的迹来刻画估计困难。
May, 2023
通过随机对偶理论，我们研究了完全行 / 列相关的线性回归模型，并考察了最小范数插值器、最小二乘法和岭回归器等几种经典估计方法。我们的结果表明，闭式计算的结果精确描述了所有相关的估计方法关于优化目标的特征，包括预测风险（测试或泛化误差），并定性地揭示了风险随特征数目 / 样本大小比增加而呈现的非单调行为（即所谓的双峰现象）。此外，我们的结果特例与 [6,16,17,24] 中使用谱方法获得的相应结果完全一致（前提是没有样本内 / 时间序列相关性）。
Jun, 2024
本文在高维渐近极端条件下，对岭回归和正则化判别分析在密集随机效应模型中的预测风险进行了统一分析，并提供了两种方法的极限预测风险的明确和高效可计算的表达式。同时，揭示了岭回归和正则化判别分析各自的一些定性见解，本分析基于最近在随机矩阵理论领域的一些新进展。
Jul, 2015
研究了最优岭回归正则化和最优岭风险在离群分布预测中的行为，建立了决定协变量和回归变化下最优正则化水平符号的一般条件，并证明了在数据纵横比方面，即使在负正则化水平优化的情况下， 优化风险在离群分布设置中是单调递增的。
Apr, 2024
本文研究岭回归的三个基本问题：估计器结构、正确使用交叉验证选择正则化参数以及如何在不损失过多精度的情况下加速计算。我们在一个统一的大数据线性模型下考虑了这三个问题。通过将岭回归精确表示为真实参数和噪声的协方差矩阵相关的线性组合，我们研究了 $K$- 折交叉验证选择正则化参数的偏差，并提出了一种简单的偏差校正方法。我们分析了原始和对偶草图在岭回归中的准确性，并以模拟和实证数据分析为例说明了我们的结果。
Oct, 2019
本论文提供了关于向量值随机特征（RF）学习的全面误差分析，为 RF 岭回归在输入输出设置下建立了理论，该方法直接分析了风险函数，避免随机矩阵理论中的浓度结果，主要结果包括在模型未规范化情况下向量值 RF 估计量的强一致性和在规范化设置下的极小极小收敛速度。
May, 2023
本文研究了具有随机特征和随机梯度下降的无脊椎回归的统计属性，探索了随机梯度和随机特征中因素的影响，特别是随机特征误差呈现双峰曲线。在理论结果的启发下，我们提出了一种可调节的核算法，优化核的谱密度。本研究架起了插值理论和实际算法之间的桥梁。
May, 2022
证明了在 ridgeless 线性回归中，标签噪声导致的预期平均平方泛化误差的非渐进分布独立下界，并推广了类似的已知结果到过参数化（插值）区域，并适用于具有几乎定概率的全秩特征矩阵的广泛输入分布类，包括根据随机深度神经网络构造的特征映射。
Oct, 2020