本文针对复合优化问题中一般且高效的不精确近端拟牛顿算法，在强凸目标函数下分析了其精确和不精确执行的收敛性质，并建立了一个简单的停止标准来改善其实用性。同时，对基于 FISTA 的近端拟牛顿算法进行加速，并与传统算法进行比较和分析，结果表明加速并没有带来任何好处。

Jul, 2016

本文提出了一种加速的拟牛顿近端外推（A-QPNE）算法来解决无约束光滑凸优化问题，证明了该方法能够实现收敛速度，并且通过蒙特罗 - 斯维特加速框架的变种来构建这个方法，并采用在线学习方法更新 Hessian 矩阵的近似，这个方法在一定范围内是优于 NAG 算法的.

Jun, 2023

本研究提出了一种基于牛顿法的新型算法，用于解决优化问题，该问题是一个正则化的对数行列式程序，能够从非常有限的样本中恢复稀疏逆协方差矩阵，或者是高斯马尔科夫随机场的基础图结构，并通过合成和真实的应用数据实验结果表明，与其他最先进的方法相比，我们的方法在性能上有了显着的改进。

Jun, 2013

本文提供了关于正则化 M - 估计器局部最优解的新理论结果，覆盖了许多感兴趣的非凸目标函数，包括误差 - 变量线性模型的校正套索方法，具有非凸罚项的广义线性模型回归，以及高维图模型估计，我们提供了误差的上限，证明了我们的理论结果，同时提出了一种简单的修改方法，使得可以在 log (1/∊) 步内以任意精度获得近似全局最优解，这是任何一阶方法可能达到的最快速度。

May, 2013

本研究针对机器学习中使用的 Square-root-Lasso（SQRT-Lasso）回归问题，发现通过研究建模结构，这种方法可以同时获得效率和准确性，同时提出使用 proximal 算法（如 proximal gradient descent，proximal Newton 和 proximal quasi-Newton）进一步地提高效率。

May, 2016

研究了带有准自共轭平滑成分的复合凸优化问题，通过使用基本的牛顿法结合梯度正则化，提出了一种简单而高效的算法，并应用于多个实际问题，包括逻辑回归、软最大和矩阵缩放，无需对目标函数进行额外的假设，并且获得了快速全局线性收敛率。

Aug, 2023

本文研究了将神经网络量化作为离散标记问题，并通过检查松弛度，设计了一种有效的迭代优化过程。我们的实验表明，我们的算法可以获得准确度非常接近浮点参考网络的完全量化网络。

Dec, 2018

提出了一种近似正则化路径追踪方法，用于求解许多具有非凸问题求解的学习问题，该算法迭代复杂度与全正则化路径相同，可以同时提供统计和计算收敛率的显式表达式，并可以实现全局几何收敛，以及对于所有近似局部解的样本复杂度分析和精确支持恢复结果。

Jun, 2013

本文提出了一种更高效的准牛顿方法，它将对称秩 - 1 更新纳入增量框架中，从而得到了不依赖条件数的局部超线性收敛速率。此外，我们通过在 Hessian 近似上应用块更新来提升方法，以实现更快的局部收敛速率。数值实验表明，所提出的方法明显优于基准方法。

Feb, 2024

提出了一种稀疏优化的通用框架，使用了二阶信息和有限的 BFGS Hessian 逼近，通过坐标下降的方法解决问题，并对其全局收敛率进行了新颖的分析。

Nov, 2013