AdaBoost综述:和解视角以更好地理解其动态
研究使用新视角的提升算法,证明 AdaBoost、LogitBoost 和软边界 LPBoost 的拉格朗日对偶问题都是熵最大化问题,并通过研究这些算法的对偶问题,表明了提升算法的成功可以从最大化边缘并同时控制边缘方差的角度来理解。通过列生成优化算法,实现了更快的收敛率,并使得使用提议的优化技术建立集成所需的弱分类器更少。
Jan, 2009
本文研究了AdaBoost算法的收敛速度,证明了其迭代收敛速度具有多项式上界,同时提供了针对多项式依赖的下界,在不需要弱学习假设和指数损失最小值有限等限制的情况下实现了优化的结果。
Jun, 2011
本文提出了基于树分裂准则的鲁棒Logitboost算法,由此提出的abc-logitboost算法在多类别分类中表现优越,通过与SVM和深度学习等算法的比较进一步证明了其优越性。
Mar, 2012
本文提出了一种新的方法来解释AdaBoost和随机森林的工作原理,即它们都能产生类似的“尖峰平缓”的分类器,且并不需要规则化或早期停止。
Apr, 2015
本文介绍一种新技术Deep Incremental Boosting,它是从AdaBoost发展而来,并专门适用于Deep Learning方法,它可以缩短训练时间并提高泛化能力。作者借鉴了Transfer of Learning方法,以减少每个增量Ensemble成员的启动时间,我们展示了一系列在一些常见Deep Learning数据集上的实验,印证了一些初步结果,并讨论了Deep Incremental Boosting对传统Ensemble方法在Deep Learning方面带来的潜在改进。
Aug, 2017
本文提出了 TripletBoost, 一种在比较基础上学习分类器的方法,可适用于任何度量空间数据并仅使用被动获得和带噪声的三组信息处理大规模问题,同时具备良好的理论推广性能和抗噪能力。
Oct, 2018
本研究中,我们将AdaBoost ML算法推广到最近引入的体温指数测量(TEMs),其中规范化强制执行在该测量的特定功率上而不是测量本身,我们的$t$-AdaBoost算法保留了AdaBoost的指数收敛速率,同时使速率的隐藏常数略有改善。
Jun, 2023
AdaBoost不是真正的优化算法,而是一种将多个弱分类器组合成强分类器的方法,它的结果可以通过真值表进行明确计算。本研究以两个类别的问题为例,以三个二元分类器为例,与Python库scikit-learn中的AdaBoost算法进行比较。
Aug, 2023
Adaptive Boosting with Dynamic Weight Adjustment improves efficiency and accuracy in ensemble learning by dynamically updating instance weights based on prediction error, resulting in a more flexible and effective approach for boosting in challenging classification tasks.
Jun, 2024
本文解决了样本复杂度优化的缺口,提出了一种新颖且简单的Boosting算法,证明了其样本复杂度是最优的。该算法将训练数据分为五个相等的部分,分别运行AdaBoost,并通过多数投票结合结果,初步实验证明在大数据集上可能优于以往算法。
Aug, 2024