研究使用新视角的提升算法，证明 AdaBoost、LogitBoost 和软边界 LPBoost 的拉格朗日对偶问题都是熵最大化问题，并通过研究这些算法的对偶问题，表明了提升算法的成功可以从最大化边缘并同时控制边缘方差的角度来理解。通过列生成优化算法，实现了更快的收敛率，并使得使用提议的优化技术建立集成所需的弱分类器更少。

Jan, 2009

本文研究了AdaBoost算法的收敛速度，证明了其迭代收敛速度具有多项式上界，同时提供了针对多项式依赖的下界，在不需要弱学习假设和指数损失最小值有限等限制的情况下实现了优化的结果。

Jun, 2011

本文研究表明，通过固定小常数缩放步长选择，AdaBoost及其直接变体可以产生近似的最大间隔分类器，同时对于梯度提升的优化过程提供了保证和提高了保证的方法。这些结果适用于指数损失和类似损失，尤其是逻辑损失。

Mar, 2013

本文提出了一种基于并行坐标下降思想的随机并行Adaboost版本，该算法采用对数损失的特定性质和口径连续梯度定义步长，并提供了收敛性证明和理论加速因子，数值实验表明该算法在大规模问题上表现优异。

Oct, 2013

提出了一种新的分类器——极值机（EVM），它从统计学中的极值理论（EVT）派生出，能够进行变量带宽的非线性无核增量学习，对比同样在ImageNet数据集上的其他分类器，EVM展现了高准确率和高效率。

Jun, 2015

该研究论文介绍了提升算法的基本概念，通过对 AdaBoostV 算法的研究，提出了一种新算法可以同时减少基本假设的数量和提高最小间隔的质量，并进一步证明其最优性。

Jan, 2019

研究了梯度下降算法在同质神经网络中的隐式正则化，重点研究了 optimizing the logistic loss or cross-entropy loss of any homogeneous model，探讨了规范化边缘的平滑版本，形成了一个关于边缘最大化的优化问题，给出了算法的渐进性能， 并讨论了通过训练提高模型鲁棒性的潜在好处。

Jun, 2019

本文建立了一个精确的高维渐近理论，探讨了分离数据上的 Boosting 的统计和计算方法。在考虑特征（弱学习器）数量 $p$ 与样本大小 $n$ 比例过大的高维情况下，提供了一种统计模型的确切分析，探讨了 Boosting 在插值训练数据并最大化经验 l1-margin 时的泛化误差，解答了 Boosting 的相关问题。同时，文章研究了最大 l1-margin，引入了新的非线性方程和高斯比较技术和均匀偏差论证。

Feb, 2020

本文提出的可扩展ODM方法，在拥有非线性内核的情况下，引入了分布感知分区方法以使得局部训练集更容易逐渐逼近全局最优解，并在使用线性内核时，利用了通信高效的SVRG算法来进一步加速训练进程。大量实验证明，该提出的方法具有高度的计算效率，几乎不会影响泛化性能。

May, 2023

通过研究线性可分数据分类中梯度算法的边界最大化偏差，提出一种名为渐进缩放梯度下降 (PRGD) 的新算法，在指数速率下最大化边界，相比于现有的多项式速率算法展现出明显区别，并验证了该理论发现在合成和实际数据上的有效性，同时在线性不可分数据集和深度神经网络上也显示了潜力提升泛化性能。

Nov, 2023