凸优化的广义 Boosting 算法
本文将扩展反推理论以解决在线学习中的回归问题，提出了两种弱学习算法模型，并提出一种在线梯度推进算法将弱学习算法转化为强学习算法，同时介绍了一种更简单的反推算法，并证明了其最优性。
Jun, 2015
本文针对一种最先进的预测技术 —— 梯度提升方法，通过解决无限维凸优化问题，顺序地生成一个由简单预测器（通常为决策树）的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析，并从函数优化的角度引入了一个通用框架来研究这些算法。证明了它们在迭代次数趋近于无穷时的收敛性，并强调了具有强凸风险函数的重要性。我们还提供了一个合理的统计环境，确保在样本大小增长时提高了预测器的一致性。在我们的方法中，优化程序是无限运行的（也就是说，没有采用早期停止策略），并且通过适当的 $L^2$ 损失惩罚和强凸性论证来实现统计正则化。
Jul, 2017
该论文介绍了一种通用的方案，使用最初设计用于最小化凸函数的梯度下降算法来解决非凸优化问题，该方案允许我们将这些方法用于弱凸性目标，这涵盖了机器学习和信号处理中通常出现的大类非凸函数。该方案无需假定目标函数具有凸性，而是通过自适应于未知的弱凸性常数来实现其保证。最后，本文还展示了将该方案应用于增量算法的几个实验结果。
Mar, 2017
我们开发了一个新的框架来研究光滑和强凸优化算法，特别是针对二次函数，我们能够将优化算法作为线性运算的递归应用程序来检查，这揭示了一种强大的联系，即一类优化算法与多项式的分析理论之间的联系，从而导出了新的下界和上界，同时我们还以多项式相关的最优解的形式表达它，从而对 Nesterov 著名的加速梯度下降方法进行了新的系统推导。
Mar, 2015
使用提供偏离随机猜测的分类器的弱学习算法进行优化，无需一阶信息即可学习任意良好模型。通过使用量子微积分等工具，证明了使用任何损失函数进行优化的可行性，从而在经典 0 阶设置中实现了一项前所未有的成就。
Jul, 2024
该论文提出了一种新颖的梯度提升框架，其中浅层神经网络被用作 “弱学习器”，该框架考虑了一般的损失函数，并针对分类、回归和排序学习提供了具体的示例。该模型通过完全修正步骤纠正了经典梯度提升决策树贪婪函数逼近的缺陷，并在多个数据集上的三项任务中表现出超越同类方法的结果。本文还进行了削减研究，以探讨每个模型组成部分和模型超参数的影响。
Feb, 2020
本文研究了一类非凸的最小值最大值问题，其中目标函数在最小化变量上是弱凸的，在最大化变量上是凸的。针对不同的光滑和不光滑的实例，我们提出了近端引导随机次梯度方法和近端引导随机方差减少方法。同时，我们分析了所提出方法在找到最小值和最大值对应的几乎稳定点的时间复杂性。
Oct, 2018
我们提出了一种随机梯度框架，用于解决具有（可能）无限数量的线性包含约束条件的随机复合凸优化问题，而这些约束条件需要几乎确定。我们使用平滑和同伦技术处理约束条件，无需矩阵投影，并且通过数值实验表明，我们的算法实现了最先进的实用性能。
Jan, 2019