该研究广义化了牛顿型方法以处理光滑函数的最小化，特别是一个包含简单近端映射的凸函数和一个非光滑函数的总和，在此基础上提出了近端牛顿型方法。研究表明，该方法即使在计算搜索方向不精确时，也能继承用于最小化光滑函数的牛顿型方法的理想收敛性质。该方法是许多针对生物信息学、信号处理和统计学习等问题量身定制的流行方法的特例，并且分析结果为其中一些方法提供了新的收敛结果。

Jun, 2012

该论文研究了由凸或 Prox-regular 函数组成的函数与光滑向量函数的复合函数最小化问题，提出了一种基于线性逼近和正则化项的子问题算法框架，并探讨了该子问题的局部解的性质、全局收敛性和含有原问题解的活动流形的识别性质。初步的计算结果具有良好的性能。

Dec, 2008

我们引入自协调平滑的概念，用于最小化两个凸函数的和：第一个是光滑的函数，第二个可以是不光滑的函数。我们的方法自然地从称为部分平滑的平滑近似技术中得出。我们的方法的重点在于所得问题结构的自然特性，它为我们提供了一个变量度量选择方法和一条特别适合于近端牛顿类型算法的步长选择规则。另外，我们有效地处理不光滑函数推动的特定结构，例如 L1 正则化和组套索惩罚。我们证明了两种算法的局部二次收敛速度：Prox-N-SCORE，即近端牛顿算法和 Prox-GGN-SCORE，即近端广义高斯牛顿（GGN）算法。Prox-GGN-SCORE 算法突出了一种较为重要的近似过程，有助于显著降低与逆 Hessian 相关的大部分计算开销。此近似过程对于超参数机器学习模型和小批量设置非常有用。对合成数据集和真实数据集的数值实验证明了我们方法的效率和优越性。

Sep, 2023

研究了带有准自共轭平滑成分的复合凸优化问题，通过使用基本的牛顿法结合梯度正则化，提出了一种简单而高效的算法，并应用于多个实际问题，包括逻辑回归、软最大和矩阵缩放，无需对目标函数进行额外的假设，并且获得了快速全局线性收敛率。

Aug, 2023

我们提出了一个基于条件梯度法的复合凸优化模板，该方法结合了平滑和同伦技术，在 CGM 框架下实现了最优的 O（1 /sqrt（k））收敛速度，并证明了在线性子问题具有加法或乘法误差时，同样的速率保持不变。此外，与相关工作相比，我们能够描述非平滑项为指示函数时的收敛性质。

Apr, 2018

利用可适应性光滑函数的概念和 Bregman 基础的近端梯度方法，在解决具有复杂目标函数的非凸、非光滑最小化问题时，实现全局收敛。

Jun, 2017

提出了一种基于梯度下降算法的非凸优化的低秩矩阵估计的统一框架，其通用性很强，可应用于噪声和无噪声观测，算法能够线性收敛到未知低秩矩阵的最小最优统计误差，同时也能够以线性速率收敛到未知低秩矩阵，并以最优样本复杂度实现精确恢复。

Oct, 2016

使用基于牛顿方法和线性共轭梯度算法的迭代算法来最小化平滑非凸目标函数，在 Hessian 矩阵的负曲率方向上显式检测和利用，可以证明该算法与 1980 年代开发的 Newton-conjugate 梯度程序非常接近，但包括了增强功能，以证明收敛到满足近似一阶和二阶最优条件的点的最坏情况复杂度结果，这些复杂度结果与文献中已知的二阶方法的最佳结果相匹配。

Mar, 2018

该研究提出了具有惯性 / 存储效应的前后向近端算法，用于在非凸环境中最小化一个不光滑函数与一个光滑函数的总和。该算法生成的迭代序列收敛于目标函数的临界点，前提是目标函数的适当正则化满足 Kurdyka-Łojasiewicz 不等式，这对于半代数函数来说是成立的。通过两个数值实验说明了理论结果：第一个实验涉及恢复非凸优化问题的本地最优解的能力，而第二个实验涉及模糊图像的恢复。

Oct, 2014

提出了一种稀疏优化的通用框架，使用了二阶信息和有限的 BFGS Hessian 逼近，通过坐标下降的方法解决问题，并对其全局收敛率进行了新颖的分析。

Nov, 2013