在理想情况下，强正则化可以防止线性回归的过度拟合。然而，当预测空间中有高方差方向可以预测响应变量时，低方差方向提供了隐式的岭正则化，进一步的正岭惩罚将会起到反作用。该研究还发现，在低准则下，明确的岭正则化可能无法提供最小范数最小二乘估计器的改进。

May, 2018

这篇论文提供了一个统一的框架，以建立在高维缩放下的正则化 M - 估计量的一致性和收敛速度，指出限制强凸性和可分解性是确保对应的正则化 M- 估计有快速收敛速度的两个关键特性，这些特性在许多经典案例中也是最优的

Oct, 2010

研究针对线性回归、低秩逼近和规范相关分析的正规化变体的矩阵草图方法，主要关注能够保留规范问题目标函数值的草图技术，为 ridge regularization 在这些问题上展示了算法资源界限，其中统计维度总是小于秩，并随着规范化程度的增加而减少

Nov, 2016

本文研究了高维情况下正则化逻辑回归（RLR），其中加入了鼓励所需结构的凸正则项。通过求解一组非线性方程组，我们提供了 RLR 性能的精确分析，并获得了各种性能度量的显式表达式。我们进行了广泛的数值模拟，并在各种参数值和问题实例中验证了理论。

Jun, 2019

本研究提出了一种名为高维表现者的新型基于样本的解释方法，可用于解释正则化高维模型的预测结果；同时也进一步研究了低秩模型在协作过滤中的应用，并对三个二分类数据集和两个推荐系统数据集的实证表现进行了研究。

May, 2023

该研究通过外显地对深度模型进行规则化，以便人类用户可以快速了解模型预测过程，训练了深度时间序列模型，使其类概率预测具有高准确性，同时又被节点较少的决策树紧密建模。通过直观的玩具示例以及用于治疗脓毒症和艾滋病的医学任务，我们展示了这种新的树规则化方法产生的模型比简单的 L1 或 L2 惩罚更容易被人类模拟，同时不会牺牲预测能力。

Nov, 2017

本文提出了一种新的方法，即在训练时直接对黑盒模型进行可解释性正则化，以改善解释效果，提高模型的可解释性，并保持一定的准确性。

May, 2019

用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能，在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的 $S$ 变换特性，从代数的几行直接获得训练和泛化误差的解析公式，能够直观地识别模型性能的幂律缩放来源。计算了广义类随机特征模型的泛化误差，发现在所有模型中，$S$ 变换对应于训练 - 测试泛化差距，并提供了广义交叉验证估计器的类比。利用这些技术，对具有结构化协变量的非常通用的随机特征模型得到了细粒度的偏差 - 方差分解。这些新颖结果使我们能够发现随机特征模型的缩放区域，在超参数设置中特征的方差限制了性能。我们还演示了随机特征模型中异向权重结构如何限制性能，并导致超参数设置中有限宽度修正的非平凡指数。我们的结果扩展并提供了对早期神经缩放定律模型的统一视角。

May, 2024

研究高维推断中估计矩阵的问题，提出基于迹或核范数的正则化 M 估计方法来近似低秩矩阵，分析其性能并提供 Frobenius 范数误差的非渐近界限，并应用于多变量回归、向量自回归过程等特定矩阵模型，模拟结果与理论预测吻合度高。

Dec, 2009

使用正定核函数和稀疏奖励惩罚来实现高维特征空间中的多核学习，从而在非线性变量选择中取得卓越的预测性能。

Sep, 2008