本文研究了 AdaBoost 算法的收敛速度,证明了其迭代收敛速度具有多项式上界,同时提供了针对多项式依赖的下界,在不需要弱学习假设和指数损失最小值有限等限制的情况下实现了优化的结果。
Jun, 2011
本文研究了一种利用量子技术改进 AdaBoost 算法,实现在 Boolean 概念类中比传统算法具有二次量子改进的时间复杂度,为弱学习算法提供了新思路。
Feb, 2020
本文探讨了 Boosting 算法在包括 AdaBoost 和 logistic loss 的一系列算法下,通过将弱分类器组合成低风险预测器,构建高熵分布以使得弱分类器和训练标签互不相关,证明了弱可学习性有助于整个算法族,所有 epsilon>0 情况下,只需 O (ln (1/epsilon)) 次迭代即可生成预测器,使得其经验风险与最小值之间的误差为 epsilon,同时证明了将任意实例分解为两个步骤,从而为逻辑回归损失提供匹配的下限。
Jan, 2011
本文提出了一种基于并行坐标下降思想的随机并行 Adaboost 版本,该算法采用对数损失的特定性质和口径连续梯度定义步长,并提供了收敛性证明和理论加速因子,数值实验表明该算法在大规模问题上表现优异。
Oct, 2013
结合并行化和 Nesterov 加速技术,设计了更高效的算法,用于高维数据的 L1 正则化损失函数,包括优化 BOOM 和提高 Shotgun 的收敛速度。
Nov, 2014
研究在线提升的两种算法:boost-by-majority 和自适应在线提升算法,证明其在可接受精度下基本上是最优的。两种算法都能处理样本的重要性权重,并且使用了在线损失最小化技术。
Feb, 2015
本文研究了在线增强学习的任务,重点探讨在线弱分类器的不同之处,提出了一种新颖的在线增强算法,并通过理论分析设计了算法参数以及确定弱分类器个数等问题,实验结果表明所提出的算法比现有的在线算法效果更好。
Jun, 2012
通过提出一种随机增强算法,我们构建了一个通用框架,将样本压缩方法扩展到支持基于子采样的随机学习算法,并输出具有单对数依赖性的投票分类器的泛化误差,相比于已知可实现的一般的弱到强学习器,我们的算法在训练样本数量方面具有更好的表现。
Feb, 2024
我们提出了一种新的在线增强算法,用于调整分类器权重,该算法与 Freund 和 Schapire 的 AdaBoost 算法更接近,同时还贡献了一种得出在线算法的新方法,其将以前的在线增强工作联系在一起。
Oct, 2008
该研究分析了梯度下降算法,引入了新的弱学习器性能度量,并扩展了 Boosting 方法,以支持任意凸损失函数,并给出了相应的弱到强的收敛结果。
May, 2011