最优弱到强学习的多面性
研究使用新视角的提升算法,证明 AdaBoost、LogitBoost 和软边界 LPBoost 的拉格朗日对偶问题都是熵最大化问题,并通过研究这些算法的对偶问题,表明了提升算法的成功可以从最大化边缘并同时控制边缘方差的角度来理解。通过列生成优化算法,实现了更快的收敛率,并使得使用提议的优化技术建立集成所需的弱分类器更少。
Jan, 2009
本文提出了基于树分裂准则的鲁棒Logitboost算法,由此提出的abc-logitboost算法在多类别分类中表现优越,通过与SVM和深度学习等算法的比较进一步证明了其优越性。
Mar, 2012
本文提出了一种新的方法来解释AdaBoost和随机森林的工作原理,即它们都能产生类似的“尖峰平缓”的分类器,且并不需要规则化或早期停止。
Apr, 2015
该研究论文介绍了提升算法的基本概念,通过对 AdaBoostV 算法的研究,提出了一种新算法可以同时减少基本假设的数量和提高最小间隔的质量,并进一步证明其最优性。
Jan, 2019
本文提出了一种新的增强算法 ProBoost,它利用每个训练样本的认识不确定性确定最具挑战性/不确定性的样本,从而使得下一个弱学习器的相关性得到提高,生成一个逐渐聚焦于具有最高不确定性的样本的序列。此外,还介绍了三种操作训练集的方法和两种集成组合的方法,并对基于变分推断或蒙特卡洛丢失的不确定性估计的概率模型进行了研究。在MNIST基准数据集上进行的实验评估表明,ProBoost能够显著提高性能。
Sep, 2022
AdaBoost不是真正的优化算法,而是一种将多个弱分类器组合成强分类器的方法,它的结果可以通过真值表进行明确计算。本研究以两个类别的问题为例,以三个二元分类器为例,与Python库scikit-learn中的AdaBoost算法进行比较。
Aug, 2023
通过整合多个弱学习器以构建强学习器,本论文综合了多个视角对AdaBoost算法的动态性进行探究,并将它们以相同的形式统一起来,旨在帮助非专业读者更好地理解AdaBoost的动态和各种视角之间的等价性和关联性。
Oct, 2023
通过提出一种随机增强算法,我们构建了一个通用框架,将样本压缩方法扩展到支持基于子采样的随机学习算法,并输出具有单对数依赖性的投票分类器的泛化误差,相比于已知可实现的一般的弱到强学习器,我们的算法在训练样本数量方面具有更好的表现。
Feb, 2024
本文针对无关提升中的样本效率低下问题,提出了一种全新的方法,显著提高了样本利用率而不增加计算复杂度。研究结果表明,该算法相较于已有的无关联提升算法展现出更好的样本效率,并且在其他学习问题(如强化学习的提升)上也取得了改进效果。
Oct, 2024