鲁棒LogitBoost和自适应基类(ABC)LogitBoost
研究使用新视角的提升算法,证明 AdaBoost、LogitBoost 和软边界 LPBoost 的拉格朗日对偶问题都是熵最大化问题,并通过研究这些算法的对偶问题,表明了提升算法的成功可以从最大化边缘并同时控制边缘方差的角度来理解。通过列生成优化算法,实现了更快的收敛率,并使得使用提议的优化技术建立集成所需的弱分类器更少。
Jan, 2009
研究两种方法来提高AdaBoost算法对标签误差的鲁棒性,一种是使用标签噪声鲁棒的分类器作为基础学习器,另一种则是修改AdaBoost算法以提高鲁棒性。实证评估表明,鲁棒分类器的集合虽然比不考虑标签噪声的AdaBoost算法收敛得更快,但仍容易出现标签误差。然而,将其与我们在此提出的新的鲁棒Boosting算法配对,能够获得更具弹性的算法。
Sep, 2013
本文提出了基于AdaBoost.MH框架的向量决策树方法,通过使用向量值决策树进行多类边缘优化而不是将多类问题规约为$K$个一对多分类,其中关键要素是由长度为$K$的与标签无关的标量分类器分解出来的与输入无关的向量值决策树桩,在这种方法下,二元分类器可以用于将输入空间分成两个区域,该算法保留了二进制AdaBoost的概念优雅性、强大性和计算效率,在实验中与支持向量机和现有最佳的多类提升算法AOSOLogitBoost旗鼓相当,而且明显优于其他已知的AdaBoost.MH实现。
Dec, 2013
本文提出了一种新的方法来解释AdaBoost和随机森林的工作原理,即它们都能产生类似的“尖峰平缓”的分类器,且并不需要规则化或早期停止。
Apr, 2015
本文提出了一种将多分类降维转化为二分类的在线算法,证明了更紧凑且完整的增强理论,并将结果直接转化为算法,证明了该算法相对于之前的算法不仅速度更快,而且在统计学性能上更优秀。
Jun, 2016
本文提出了 TripletBoost, 一种在比较基础上学习分类器的方法,可适用于任何度量空间数据并仅使用被动获得和带噪声的三组信息处理大规模问题,同时具备良好的理论推广性能和抗噪能力。
Oct, 2018
本文提出了一种新的增强算法 ProBoost,它利用每个训练样本的认识不确定性确定最具挑战性/不确定性的样本,从而使得下一个弱学习器的相关性得到提高,生成一个逐渐聚焦于具有最高不确定性的样本的序列。此外,还介绍了三种操作训练集的方法和两种集成组合的方法,并对基于变分推断或蒙特卡洛丢失的不确定性估计的概率模型进行了研究。在MNIST基准数据集上进行的实验评估表明,ProBoost能够显著提高性能。
Sep, 2022
将增强学习推广到多类别情景中,引入了适用于多类别分类的弱学习条件,提出了一种简单高效的增强学习算法,并在列表式PAC学习的背景下应用其新的增强技术,证明了其可行性和可靠性。
Jul, 2023
本文解决了样本复杂度优化的缺口,提出了一种新颖且简单的Boosting算法,证明了其样本复杂度是最优的。该算法将训练数据分为五个相等的部分,分别运行AdaBoost,并通过多数投票结合结果,初步实验证明在大数据集上可能优于以往算法。
Aug, 2024