本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

Jun, 2020

研究了高维混合的两个高斯类在噪声条件下的学习，正则化方法可以让分类器达到贝叶斯最优性能，同时分析了正则化程度的影响。

Feb, 2020

通过解决正则化 M - 估计问题，我们成功预测了在高维比例范式下这种估计器的误差性能，并识别了一种新的总结参数，称为预期的 Moreau 信封，在误差表征中起着核心作用。

Jan, 2016

本文研究高维度的鲁棒线性回归，包括离群值和使用标准损失函数的经验风险最小化（ERMs）方法。结果显示，在相似数据集上，经过最优正则化的 ERM 在大样本复杂性极限下是渐近一致的，但在评估误差方面，由于规范标定的失配，估计器的一致性要求完美计算最优规范的预估值或存在未受离群值污染的交叉验证集。不同的损失函数在最优性能的使用情况下提供了有关使用情况的见解。

May, 2023

这项研究的目的是在多类学习中表征正则化的作用，并使用一种最优学习算法来控制模型容量，该算法与结构风险最小化、最大熵原理和贝叶斯推理相结合。同时引入一种新的学习者，通过在无监督学习阶段学习正则化器，实现结构风险最小化的放松，以及推导学习问题的归纳错误率。最后，引入了对偶误差的泛化和不可知情况的哈明图最优学习算法，通过最大熵程序实现最优学习。

Sep, 2023

研究在高维情况下通过经验风险最小化学习具有通用质心的两个数据点云的特征，涵盖了大量的数据分布，包括高斯混合分布和幂律分布，并分析了通过正则化的作用，推导了估计器的泛化性能，并探究了分布尺度参数对可分离性转换的影响。

Apr, 2023

这篇论文提供了一个统一的框架，以建立在高维缩放下的正则化 M - 估计量的一致性和收敛速度，指出限制强凸性和可分解性是确保对应的正则化 M- 估计有快速收敛速度的两个关键特性，这些特性在许多经典案例中也是最优的

Oct, 2010

本文提出了使用分布式鲁邦优化的思想来作为正则化技术以及对现有技术提供新的概率解释。通过选择半径，可以保证最坏情况下的预期损失提供了对测试数据的上限置信度，从而提供新的泛化界限。

Oct, 2017

深度神经网络在依赖数据上的显式正则化和优化性能最近取得了相当大的进展。本文研究了从强混合观测样本中进行深度学习，并处理了平方损失和一类广义损失函数。对于包括回归估计、分类、时间序列预测等的一般框架，建立了期望超越风险的奥拉克不等式并给出了一类 H"older 平滑函数的界限。针对强混合数据和次指数误差的非参数回归，我们针对 $L_2$ 误差建立了奥拉克不等式，并研究了该误差在一类 H"older 组合函数上的上界。对于具有高斯和拉普拉斯误差的非参数自回归的特定情况，我们建立了 $L_2$ 误差在此 H"older 组合类上的下界。在对数因子上，这个界限与其上界匹配，因此深度神经网络估计器实现了最佳的极小化速率。

Jun, 2024

本文研究了高维稳健回归估计器的渐近性质以及基于概率启发式的方法解释了其渐近行为，通过随机矩阵理论、集中测度和凸分析的思想提出了严谨证明，这里对某些假设进行了放宽并发现当 $ au=0$ 时可作为极限情况来恢复。

Nov, 2013