研究使用新视角的提升算法，证明 AdaBoost、LogitBoost 和软边界 LPBoost 的拉格朗日对偶问题都是熵最大化问题，并通过研究这些算法的对偶问题，表明了提升算法的成功可以从最大化边缘并同时控制边缘方差的角度来理解。通过列生成优化算法，实现了更快的收敛率，并使得使用提议的优化技术建立集成所需的弱分类器更少。

Jan, 2009

本文提出了第 $k$ 阶边界，并将其与最小边界和Emargin边界等之前的作品进行了比较，并根据先前的经验Bernstein边界对其进行了改进，提出了一种基于边缘的解释，并通过证明一种新的泛化误差界来捍卫这个解释，并且该界考虑了与 Breiman 在1999年提出的最小间距界相同的因素，还考虑了平均间距和方差等因素，最后在有限VC维空间中提供了投票分类器的边缘分布界的泛化误差。

Sep, 2010

本文提出了一种新的方法来解释AdaBoost和随机森林的工作原理，即它们都能产生类似的“尖峰平缓”的分类器，且并不需要规则化或早期停止。

Apr, 2015

本文针对一种最先进的预测技术——梯度提升方法，通过解决无限维凸优化问题，顺序地生成一个由简单预测器（通常为决策树）的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析，并从函数优化的角度引入了一个通用框架来研究这些算法。证明了它们在迭代次数趋近于无穷时的收敛性，并强调了具有强凸风险函数的重要性。我们还提供了一个合理的统计环境，确保在样本大小增长时提高了预测器的一致性。在我们的方法中，优化程序是无限运行的（也就是说，没有采用早期停止策略），并且通过适当的$L^2$损失惩罚和强凸性论证来实现统计正则化。

Jul, 2017

该研究论文介绍了提升算法的基本概念，通过对 AdaBoostV 算法的研究，提出了一种新算法可以同时减少基本假设的数量和提高最小间隔的质量，并进一步证明其最优性。

Jan, 2019

研究深度学习中的复杂度控制，通过研究无穷小正则化或梯度下降优化如何在同质和非同质模型中导致边际最大化解决方案，扩展以前关注同质模型中的无穷小正则化的研究。

May, 2019

研究了梯度下降算法在同质神经网络中的隐式正则化，重点研究了 optimizing the logistic loss or cross-entropy loss of any homogeneous model，探讨了规范化边缘的平滑版本，形成了一个关于边缘最大化的优化问题，给出了算法的渐进性能， 并讨论了通过训练提高模型鲁棒性的潜在好处。

Jun, 2019

本文建立了一个精确的高维渐近理论，探讨了分离数据上的 Boosting 的统计和计算方法。在考虑特征（弱学习器）数量 $p$ 与样本大小 $n$ 比例过大的高维情况下，提供了一种统计模型的确切分析，探讨了 Boosting 在插值训练数据并最大化经验 l1-margin 时的泛化误差，解答了 Boosting 的相关问题。同时，文章研究了最大 l1-margin，引入了新的非线性方程和高斯比较技术和均匀偏差论证。

Feb, 2020

介绍了一种基于动量的梯度方法，使用最大化分类间隔相结合的凸对偶来训练线性分类器，表现出优异的性能

Jul, 2021

通过研究线性可分数据分类中梯度算法的边界最大化偏差，提出一种名为渐进缩放梯度下降 (PRGD) 的新算法，在指数速率下最大化边界，相比于现有的多项式速率算法展现出明显区别，并验证了该理论发现在合成和实际数据上的有效性，同时在线性不可分数据集和深度神经网络上也显示了潜力提升泛化性能。

Nov, 2023