本文介绍了一种用于分析 Boosting 算法的有用工具 —— 平滑边缘函数，它是 Boosting 算法通常边缘的可微近似。我们介绍了两种基于平滑边缘的 Boosting 算法，它们分别是 “坐标上升 Boosting” 和 “近似坐标上升 Boosting”，它们类似于 Freund 和 Schapire 的 AdaBoost 算法和 Breiman 的 arc-gv 算法。我们对这两种算法以及 arc-gv 给出了最大边缘解的收敛速度。然后，我们使用平滑边缘函数来研究 AdaBoost 的收敛性质。当弱分类器的边界落在指定范围内时，我们精确地限制了 AdaBoost 实现的边界，这表明 R"{a} tsch 和 Warmuth 证明的一个先前的边缘限制是完全紧密的。此外，我们使用平滑边缘在出现循环行为的情况下捕捉了 AdaBoost 的显式属性。

Mar, 2008

该研究论文介绍了提升算法的基本概念，通过对 AdaBoostV 算法的研究，提出了一种新算法可以同时减少基本假设的数量和提高最小间隔的质量，并进一步证明其最优性。

Jan, 2019

本文提出了第 $k$ 阶边界，并将其与最小边界和 Emargin 边界等之前的作品进行了比较，并根据先前的经验 Bernstein 边界对其进行了改进，提出了一种基于边缘的解释，并通过证明一种新的泛化误差界来捍卫这个解释，并且该界考虑了与 Breiman 在 1999 年提出的最小间距界相同的因素，还考虑了平均间距和方差等因素，最后在有限 VC 维空间中提供了投票分类器的边缘分布界的泛化误差。

Sep, 2010

本文研究了基于一组基函数的线性空间的 boosting 算法的数值收敛性、一致性和统计收敛速率及早停止的策略，展示了理论结果对于提供实际 boosting 应用见解的重要性。

Aug, 2005

研究使用新视角的提升算法，证明 AdaBoost、LogitBoost 和软边界 LPBoost 的拉格朗日对偶问题都是熵最大化问题，并通过研究这些算法的对偶问题，表明了提升算法的成功可以从最大化边缘并同时控制边缘方差的角度来理解。通过列生成优化算法，实现了更快的收敛率，并使得使用提议的优化技术建立集成所需的弱分类器更少。

Jan, 2009

本文研究了边缘稳定性（EoS）中逻辑回归上梯度下降（GD）的收敛和隐式偏差情况，证明任何恒定步长的非单调 GD 迭代可以在较长时间尺度上最小化逻辑损失，并在最大间隔方向上趋于正无穷，在最大间隔方向的正交补上收敛于最小化强凸势能的固定向量，而指数损失可能导致 GD 迭代在 EoS 区域内灾难性发散。

May, 2023

本文提出了一种基于损失函数进行梯度重新标度的步长自适应方案（Stepsize Adaptation Scheme），以达到对损失的预测进度的固定要求。作者用 Adam 和 Momentum 优化器进行了实验，通过该方案改进了它们的性能，在多种网络结构和数据集上进行了验证。与定常步长相比，增强优化器在不增加计算量的情况下，表现稳定优于定常步长优化器，甚至是最佳的优化器。

Feb, 2018

通过将指定的优化器与自适应调整方法相结合，基于指定的全局步长缩放和每个坐标的增益因子来调整全局步长，进而提高在大规模应用中优化器的性能，并用指数化梯度更新方法来更新步长范围和增益变量，可在训练期间快速适应数据分布差异。

Jan, 2022

我们提出了一种新的在线增强算法，用于调整分类器权重，该算法与 Freund 和 Schapire 的 AdaBoost 算法更接近，同时还贡献了一种得出在线算法的新方法，其将以前的在线增强工作联系在一起。

Oct, 2008

通过对深度神经网络上梯度下降算法的实证研究发现，通过训练集中带宽分布曲线的曲线下面积来量化模型的泛化性能是更精确的方法，并且在加入批量规范化和权重衰减的情况下得到的训练点会收敛到同一个渐近边界，但其高容量特征并不一致。

Jul, 2021