提出了一种用于调整岭回归的正则化超参数 λ 的新方法，比留一法交叉验证 (LOOCV) 更快速计算，同时产生等效或更好的回归参数估计，尤其在稀疏协变量的情况下。

Oct, 2023

本文研究了高维情况下正则化逻辑回归（RLR），其中加入了鼓励所需结构的凸正则项。通过求解一组非线性方程组，我们提供了 RLR 性能的精确分析，并获得了各种性能度量的显式表达式。我们进行了广泛的数值模拟，并在各种参数值和问题实例中验证了理论。

Jun, 2019

提出了一种通过引入置信度修正的变化来减少交叉验证过程中的过度期望风险， 及从混合整数规划中获得可计算的放松， 从而最小化 leave-one-out 误差的方法， 能够比现有方法更快地得到更少误差的结果。

Jun, 2023

本文在高维渐近极端条件下，对岭回归和正则化判别分析在密集随机效应模型中的预测风险进行了统一分析，并提供了两种方法的极限预测风险的明确和高效可计算的表达式。同时，揭示了岭回归和正则化判别分析各自的一些定性见解，本分析基于最近在随机矩阵理论领域的一些新进展。

Jul, 2015

本研究探讨了线性回归中带有 L2 正则化的问题，每个输入变量都与一个不同的正则化超参数相关联。通过基于梯度的方法优化这些超参数，通过计算交叉验证准则相对于正则化超参数的梯度，使用矩阵微分学进行解析计算。此外，我们引入了两种针对稀疏模型学习问题的策略，旨在减少过度拟合验证数据的风险。数值示例表明，我们的多超参数正则化方法胜过 LASSO、Ridge 和 Elastic Net 回归。此外，与自动微分相比，梯度的解析计算在计算时间方面更加高效，特别是在处理大量输入变量时。还介绍了应用于过参数化线性参数变化模型的情况。

Nov, 2023

本文通过理论分析，在高维数据考虑时，通过经验风险最小化框架的分类性能，针对两类高斯混合问题，提出了精确的分类误差预测，并且提出了在岭正则化和非正则化的情况下，都采用简单的平方损失作为高维分类的最优选择。

May, 2019

本文提出了一种稀疏逻辑回归的差分隐私方法，该方法利用非隐私 LASSO 逻辑回归模型确定使用的非零系数的数量来进行最终的模型选择，从而保持硬零，实验结果表明该方法在合成和真实数据集上表现良好。

Apr, 2023

本文提出了一个基于并行哈密顿模拟的量子算法以及 $K$ 倍交叉验证方法来优化岭回归 (Ridge Regression) 并进行预测性能评估，该算法对于非稀疏数据矩阵具有高效处理的能力，并且对于低秩矩阵且条件数较低的数据矩阵可以实现指数级加速，但对于条件数较高的数据矩阵只能实现多项式级加速。

Jul, 2017

本文提出随机系数岭回归的估计和预测方法，同时考虑了迁移学习的情况，并通过模拟和预测多遗传特征以证明其效果。

Jun, 2023

在理想情况下，强正则化可以防止线性回归的过度拟合。然而，当预测空间中有高方差方向可以预测响应变量时，低方差方向提供了隐式的岭正则化，进一步的正岭惩罚将会起到反作用。该研究还发现，在低准则下，明确的岭正则化可能无法提供最小范数最小二乘估计器的改进。

May, 2018