基于隐式岭正则化，实际高维数据的最优岭惩罚可以为零或负值

May, 2018

基于隐式岭正则化，实际高维数据的最优岭惩罚可以为零或负值

Optimal ridge penalty for real-world high-dimensional data can be zero or negative due to the implicit ridge regularization

PDF

Dmitry Kobak, Jonathan Lomond, Benoit Sanchez

TL;DR在理想情况下，强正则化可以防止线性回归的过度拟合。然而，当预测空间中有高方差方向可以预测响应变量时，低方差方向提供了隐式的岭正则化，进一步的正岭惩罚将会起到反作用。该研究还发现，在低准则下，明确的岭正则化可能无法提供最小范数最小二乘估计器的改进。

Abstract

A conventional wisdom in statistical learning is that large models require strong regularization to prevent overfitting. Here we show that this rule can be violated by linear regression in the underdetermined $n\

linear regression overfitting high-dimensional data ridge penalty minimum-norm estimator

发现论文，激发创造

岭回归中的良性过拟合

本研究探讨了过参数化模型在插值噪声数据时的行为，分析了数据的协方差结构和高效秩的子空间是如何影响该现象的发生，并提供了正则化条件下的结果。

Sep, 2020

优化的岭回归正则化用于外推预测

研究了最优岭回归正则化和最优岭风险在离群分布预测中的行为，建立了决定协变量和回归变化下最优正则化水平符号的一般条件，并证明了在数据纵横比方面，即使在负正则化水平优化的情况下，优化风险在离群分布设置中是单调递增的。

Apr, 2024

预测的高维渐近性：岭回归和分类

本文在高维渐近极端条件下，对岭回归和正则化判别分析在密集随机效应模型中的预测风险进行了统一分析，并提供了两种方法的极限预测风险的明确和高效可计算的表达式。同时，揭示了岭回归和正则化判别分析各自的一些定性见解，本分析基于最近在随机矩阵理论领域的一些新进展。

Jul, 2015

超参数线性回归中的最优加权 L2 正则化

本文对过参数线性模型中采用广义（加重）岭回归估计系数的预测风险进行了分析，并探讨了在偏好一定系数分布时参数的最优预测，以及过参数现象在主成分回归中的具体表现，进而提出了在无偏估计与最优正则化问题中，加权目标函数方法的优越性。

Jun, 2020

高维数据的深度修剪残差罚最小二乘回归模型

大数据时代中的数据挑战包括：维度常常大于样本大小，异常值或污染点通常隐藏且更难检测。这篇论文系统地检查了文献中的主要惩罚回归方法，并提出了一种基于剪枝残差最小平方和的鲁棒惩罚回归方法，实验证明在估计和预测准确性方面胜过其他竞争对手。

Sep, 2023

最小二乘回归罚项的数据驱动校准

本文提出了一种完全基于数据的最小惩罚量校准算法，适用于最小二乘回归框架，可以用于惩罚最小二乘回归径向基函数网络。

Feb, 2008

高维广义线性模型与套索法

研究了具有 Lipschitz 损失函数的高维广义线性模型，并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数，在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。

Apr, 2008

高维回归假设检验的几乎最优样本大小

针对高维线性回归模型的参数拟合问题，考虑基于 Lasso 惩罚的最小二乘估计器的置信区间和 p 值的构造及去偏的版本，进一步在随机设计模型的情形下进行研究，并提出了更优的平均检测功率的分析结果。

Nov, 2013

高维核回归：超越双谷现象的细致分析

该研究通过建立偏差 - 方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征，揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。

Oct, 2020

高维岭回归经验风险最小化的基本限制

本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

Jun, 2020