研究非凸优化问题中梯度下降算法的隐式正则化特性，证明在多种统计模型中，梯度下降算法在没有显式正则化的情况下也能够实现正则化，并在相位恢复、低秩矩阵补全和盲反卷积等三个基本统计估计问题中实现近乎最优的统计和计算保证。

Nov, 2017

本文提出了将非凸正则化器中非凸性转移至损失函数的方法，使得正则化器可以转化为熟悉的凸正则化器，而损失函数仍然保证平滑，从而可以使用现有的用于凸正则化器的高效算法进行求解。实验证明，该方法在各种机器学习应用场景中均可显著提高求解速度。

Jun, 2016

本文提出一种基于子采样的方法，以降低 cubic regularization 方法的高计算复杂度，并利用浓度不等式提出相应的采样方案，从而在保证 cubic regularization 方法的全局和局部收敛性的同时，给出其全局收敛保证的首个子采样变体在非凸函数的设置中的实验证明。

May, 2017

本篇论文提出了一个理论框架，表明在适当的条件下，非凸正则化的全局解决方案可导致理想的稀疏恢复性能，并且在合适的条件下，全局解决方案对应于唯一的稀疏局部解决方案，其可通过不同的数值方法获得。该统一框架为凹形高维稀疏估计过程提供了更加令人满意的处理方法，并作为凹形正则化进一步数值程序发展的指导方针。

Aug, 2011

通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法，我们考虑了线性预测器和非线性预测器的设置，同时包括正定核。针对这类损失，作者提出了一种偏差 - 方差分解思路，并通过改善偏差项、方差项或二者同时来快速逼近渐进速率，从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。

Feb, 2019

本研究旨在探讨优化非光滑非凸正则化器下的平滑非凸损失函数的随机梯度方法。我们提出了两种简单的随机梯度算法，对于有限总和和一般随机优化问题，相较于现有技术水平，其具有更优的收敛复杂度。同时，我们在经验风险最小化中比较了两种算法的实际表现。

Jan, 2019

本文考虑在再生核希尔伯特空间中的非规则化在线学习算法，给出了分类的显式收敛速率以及对于一般损失函数的非规则化成对学习算法的首次收敛性证明和收敛速率。

Mar, 2015

我们对基于正则化的连续学习在一系列线性回归任务中进行了统计分析，重点在于不同正则化项如何影响模型性能。我们推导了作为先验估计器的收敛速率，考虑了由矩阵值超参数索引的广义 l2 正则化算法族，包括最小范数估计器和连续岭回归作为特例。随着任务的增加，我们推导了广义 l2 正则化估计器的估计误差的迭代更新公式，从中确定了导致最佳算法的超参数。有趣的是，超参数的选择能够有效平衡前向和后向知识转移的权衡，并适应数据异质性。此外，我们明确地推导出最佳算法的估计误差，它与先验估计器的误差同阶。相比之下，我们的最小范数估计器和连续岭回归的下界显示了它们的子优性。我们的理论分析的副产品是提出了在连续学习中早停和广义 l2 正则化之间的等价性，这可能具有独立的研究价值。最后，我们进行实验以补充我们的理论。

Jun, 2024

研究了基于核的最小二乘回归以及通过早期停止进行过度拟合的正则化的共轭梯度算法，并提出了该方法的收敛率，如果真实回归函数属于再生核希尔伯特空间，则其上限可以匹配之前文献中获得的下限.

Sep, 2010

提出了一种近似正则化路径追踪方法，用于求解许多具有非凸问题求解的学习问题，该算法迭代复杂度与全正则化路径相同，可以同时提供统计和计算收敛率的显式表达式，并可以实现全局几何收敛，以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。

Jun, 2013