本文提出了一种基于 l_p 正则化无约束极小化问题的新方法，包括通过闭形式求解每个子问题的 IRL1 和 IRL2 变体，以及这些方法的收敛性分析和基于唯一的 Lipschitz 连续的 ε- 近似的新 IRL1 方法。我们的计算结果表明，该方法对于目标函数值和 CPU 时间通常比现有的 IRL1 方法更稳定。

Sep, 2012

本文研究非凸风险最小化的样本复杂性，并探索了在此上下文中最小化此类功能的有效算法，结果表明这些算法不仅具有统计稳定性，而且具有良好的泛化能力。

Jan, 2017

本文提供了关于正则化 M - 估计器局部最优解的新理论结果，覆盖了许多感兴趣的非凸目标函数，包括误差 - 变量线性模型的校正套索方法，具有非凸罚项的广义线性模型回归，以及高维图模型估计，我们提供了误差的上限，证明了我们的理论结果，同时提出了一种简单的修改方法，使得可以在 log (1/∊) 步内以任意精度获得近似全局最优解，这是任何一阶方法可能达到的最快速度。

May, 2013

通过二阶信赖域算法，我们可以高效地找到满足所有局部极小值点也是全局极小值点并且任何一点的方向曲率为负的非凸优化问题的全局极小解。

Oct, 2015

提出了一种近似正则化路径追踪方法，用于求解许多具有非凸问题求解的学习问题，该算法迭代复杂度与全正则化路径相同，可以同时提供统计和计算收敛率的显式表达式，并可以实现全局几何收敛，以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。

Jun, 2013

对于现代机器学习应用中的最小化问题，研究了基于提纯的方法族，证明了在渐进条件下，从任意初始状态出发，研究中的策略几乎总能避免严格鞍点 / 子流形，从而为在流形上使用梯度方法提供了重要的可靠性验证。

Nov, 2023

研究用于找到凸凹函数鞍点的随机一阶方法的性能。我们提出了一种简单有效的正则化技术，稳定迭代并提供有意义的性能保证，即使域和梯度噪声与迭代的大小成线性关系（可能是无界的）。此外，我们还将算法应用于强化学习中的特定问题，在无偏扩展的平均奖励 MDP 中，即使没有先验知识，也能找到接近最优策略的性能保证。

Feb, 2024

本文提出了一个随机变体的经典算法 -- 立方正则化牛顿方法。该算法可以有效地避免鞍点问题，并在仅需要 $\mathcal {\tilde {O}}(\epsilon^{-3.5})$ 个随机梯度和随机海森向量乘积评估的情况下，为一般光滑的非凸函数找到近似的局部极小值。

Nov, 2017

本文研究非受限情况下的 $L_2$-$L_p$ 最小化问题，并展示了这个问题的各种吸引人的特性，同时表明 $L_q$-$L_p$ 最小化问题是强 NP 困难问题，但可以通过精心选择参数获得所需的稀疏性，这些结果为凸规则化优化问题的研究和应用提供了新的理论洞察。

May, 2011

本研究针对非凸函数的优化问题，通过分析其严格鞍点特性，提出了一种可有效优化的解法 —— 随机梯度下降法，并给出了其多项式迭代次数的局部最小值收敛保证以及应用于正交张量分解问题上的全局收敛保证。

Mar, 2015