本文提出了一种加速的拟牛顿近端外推（A-QPNE）算法来解决无约束光滑凸优化问题，证明了该方法能够实现收敛速度，并且通过蒙特罗 - 斯维特加速框架的变种来构建这个方法，并采用在线学习方法更新 Hessian 矩阵的近似，这个方法在一定范围内是优于 NAG 算法的.

Jun, 2023

本论文研究了用于函数最小化的二次逼近方法，重点考虑迭代复杂度以及该方法的充分性和必要性证明。我们证明了在实现精度范围内的非精确解决方案足以保证收敛速度与精确方案相同，本文揭示了这个在早期阶段是线性的，而总比例为 $O (1 /k)$。此外，我们还证明了此方法在一些凸问题上具有全局收敛性。

Mar, 2018

本文提出了一种更高效的准牛顿方法，它将对称秩 - 1 更新纳入增量框架中，从而得到了不依赖条件数的局部超线性收敛速率。此外，我们通过在 Hessian 近似上应用块更新来提升方法，以实现更快的局部收敛速率。数值实验表明，所提出的方法明显优于基准方法。

Feb, 2024

提出了一种稀疏优化的通用框架，使用了二阶信息和有限的 BFGS Hessian 逼近，通过坐标下降的方法解决问题，并对其全局收敛率进行了新颖的分析。

Nov, 2013

本文探讨了使用近端梯度法优化平滑凸函数和非平滑凸函数的和时，如果在计算平滑项的梯度或非平滑项的邻近算子时存在误差，基本的近端梯度法和加速近端梯度法可以实现与没有错误的情况下相同的收敛率，前提是错误以适当的速度减小。使用这些速度，在一组结构稀疏性问题上，我们的表现与精心选择的固定误差级别相当或更好。

Sep, 2011

研究了带有准自共轭平滑成分的复合凸优化问题，通过使用基本的牛顿法结合梯度正则化，提出了一种简单而高效的算法，并应用于多个实际问题，包括逻辑回归、软最大和矩阵缩放，无需对目标函数进行额外的假设，并且获得了快速全局线性收敛率。

Aug, 2023

在本研究中，我们提出了一种精心构造的近端拟牛顿算法，用于解决计算密集的 M - 估计问题，特别是针对条件随机场的 L1 正则化 MLE 问题，该问题由于涉及到要求代价昂贵的推理步骤来计算梯度值，因此具有特别昂贵的优化成本。我们的算法在序列标记和分类等问题上比当前最先进的算法收敛速度更快。

Jun, 2014

本文研究了一种二次罚函数加速的不精确近端点法迭代复杂度，用于求解线性约束下的非凸组合规划问题。作者证明了该方法能够在加速梯度下降法的基础上，有效地生成近似极小点。数值结果表明该方法的有效性。

Feb, 2018

本文研究了机器学习中基于不光滑正则化的各种优化问题，并提出了三种不精确的近端梯度算法，包括基本版本和 Nesterov 加速版本。理论分析表明，我们的不精确近端梯度算法可以在非凸情况下具有和精确近端梯度算法相同的收敛速度。实验结果证实了新算法在三个代表性非凸学习问题上的优越性。

Dec, 2016

本文提出了一种计算特定尺度规范下近似算子的凸分析方法，并利用对偶问题的分段线性特性描述了一类函数的高效实现，之后将该方法应用于凸最小化问题加速中并得到了优雅的拟牛顿方法，该算法在信号处理、稀疏恢复和机器学习分类等领域中具有广泛应用，并与现有方案相比具有较高的性能。

Jun, 2012