Jan, 2009

提升算法的双重表述

PDF
TL;DR研究使用新视角的提升算法，证明 AdaBoost、LogitBoost 和软边界 LPBoost 的拉格朗日对偶问题都是熵最大化问题，并通过研究这些算法的对偶问题，表明了提升算法的成功可以从最大化边缘并同时控制边缘方差的角度来理解。通过列生成优化算法，实现了更快的收敛率，并使得使用提议的优化技术建立集成所需的弱分类器更少。
发现论文，激发创造
  • Boosting 的原始 - 对偶收敛分析

    本文探讨了 Boosting 算法在包括 AdaBoost 和 logistic loss 的一系列算法下，通过将弱分类器组合成低风险预测器，构建高熵分布以使得弱分类器和训练标签互不相关，证明了弱可学习性有助于整个算法族，所有 epsilon>0 情况下，只需 O (ln (1/epsilon)) 次迭代即可生成预测器，使得其经验风险与最小值之间的误差为 epsilon，同时证明了将任意实例分解为两个步骤，从而为逻辑回归损失提供匹配的下限。

    Jan, 2011

  • 提升算法中的最优最小间隔最大化

    该研究论文介绍了提升算法的基本概念，通过对 AdaBoostV 算法的研究，提出了一种新算法可以同时减少基本假设的数量和提高最小间隔的质量，并进一步证明其最优性。

    Jan, 2019

  • 边缘、收缩和提升

    本文研究表明，通过固定小常数缩放步长选择，AdaBoost 及其直接变体可以产生近似的最大间隔分类器，同时对于梯度提升的优化过程提供了保证和提高了保证的方法。这些结果适用于指数损失和类似损失，尤其是逻辑损失。

    Mar, 2013

  • 关于增强学习中误差界解释的疑问

    本文提出了第 $k$ 阶边界，并将其与最小边界和 Emargin 边界等之前的作品进行了比较，并根据先前的经验 Bernstein 边界对其进行了改进，提出了一种基于边缘的解释，并通过证明一种新的泛化误差界来捍卫这个解释，并且该界考虑了与 Breiman 在 1999 年提出的最小间距界相同的因素，还考虑了平均间距和方差等因素，最后在有限 VC 维空间中提供了投票分类器的边缘分布界的泛化误差。

    Sep, 2010

  • 利用平滑边界函数分析提升算法

    本文介绍了一种用于分析 Boosting 算法的有用工具 —— 平滑边缘函数，它是 Boosting 算法通常边缘的可微近似。我们介绍了两种基于平滑边缘的 Boosting 算法，它们分别是 “坐标上升 Boosting” 和 “近似坐标上升 Boosting”，它们类似于 Freund 和 Schapire 的 AdaBoost 算法和 Breiman 的 arc-gv 算法。我们对这两种算法以及 arc-gv 给出了最大边缘解的收敛速度。然后，我们使用平滑边缘函数来研究 AdaBoost 的收敛性质。当弱分类器的边界落在指定范围内时，我们精确地限制了 AdaBoost 实现的边界，这表明 R"{a} tsch 和 Warmuth 证明的一个先前的边缘限制是完全紧密的。此外，我们使用平滑边缘在出现循环行为的情况下捕捉了 AdaBoost 的显式属性。

    Mar, 2008

  • 凸优化的广义 Boosting 算法

    该研究分析了梯度下降算法，引入了新的弱学习器性能度量，并扩展了 Boosting 方法，以支持任意凸损失函数，并给出了相应的弱到强的收敛结果。

    May, 2011

  • 双重加速快速实现边缘最大化

    介绍了一种基于动量的梯度方法，使用最大化分类间隔相结合的凸对偶来训练线性分类器，表现出优异的性能

    Jul, 2021

  • 在线梯度提升

    本文将扩展反推理论以解决在线学习中的回归问题，提出了两种弱学习算法模型，并提出一种在线梯度推进算法将弱学习算法转化为强学习算法，同时介绍了一种更简单的反推算法，并证明了其最优性。

    Jun, 2015

  • 最小化最大损失：如何和为什么？

    本文介绍了一种算法，该算法可以将任何在线算法转换为最大损失的最小化器。我们证明，在某些情况下，要在训练集上获得更好的准确性对于获得好的性能至关重要。最后，我们提出了处理异常值的鲁棒版本的方法。

    Feb, 2016

  • 大规模多类别分类的高效原始 - 对偶算法

    本文介绍了如何使用随机镜像下降法和非均匀采样方案，来快速训练高维度特征空间、多分类通用的线性分类器，特别是在多类 Hinge 损失下，本文提出了一个迭代次数为 $O (d+n+k)$ 的子线性算法。

    Feb, 2019