Sep, 2022

ProBoost: 概率分类器的增强方法

PDF
TL;DR本文提出了一种新的增强算法 ProBoost，它利用每个训练样本的认识不确定性确定最具挑战性 / 不确定性的样本，从而使得下一个弱学习器的相关性得到提高，生成一个逐渐聚焦于具有最高不确定性的样本的序列。此外，还介绍了三种操作训练集的方法和两种集成组合的方法，并对基于变分推断或蒙特卡洛丢失的不确定性估计的概率模型进行了研究。在 MNIST 基准数据集上进行的实验评估表明，ProBoost 能够显著提高性能。
proboostboosting algorithmprobabilistic classifiersuncertainty estimationmnist dataset
发现论文，激发创造
  • 多类别 Boosting 理论

    本文提出了一种广泛且通用的框架，通过精确分析和确定弱分类器的最优需求，以及设计最有效的某种算法来应对多类别分类中存在的问题。

    Aug, 2011

  • 提升、投票分类器与随机样本压缩方案

    通过提出一种随机增强算法，我们构建了一个通用框架，将样本压缩方法扩展到支持基于子采样的随机学习算法，并输出具有单对数依赖性的投票分类器的泛化误差，相比于已知可实现的一般的弱到强学习器，我们的算法在训练样本数量方面具有更好的表现。

    Feb, 2024

  • CUSBoost: 基于聚类的欠采样和增强学习的不平衡分类

    本文提出了 CUSBoost 算法，它是一种基于聚类和 AdaBoost 算法的欠采样方法，用于有效解决类别不平衡问题，实验结果表明，CUSBoost 是处理高度不平衡数据集的一个有前途的、有效的方法。

    Dec, 2017

  • 通过深度模型集成增强可证明的鲁棒性

    本文提出了一种算法，通过优化加权基本模型，对深度模型群集的认证稳健性进行增强，实验结果证明了该算法可以形成比 naive 平均所有可用模型更为稳健的群集，并且通常具有更好的准确性。

    Oct, 2019

  • 在线 boosting 的最优与自适应算法

    研究在线提升的两种算法：boost-by-majority 和自适应在线提升算法，证明其在可接受精度下基本上是最优的。两种算法都能处理样本的重要性权重，并且使用了在线损失最小化技术。

    Feb, 2015

  • 一种正 - 无标记学习的提升算法

    提出了一种新的正无标记（PU）学习算法，AdaPU 算法，通过在加权的正负（PN）数据集上进行学习单个弱分类器及其权重来优化经验指数损失，该算法在多个基准 PU 数据集，包括一个大型有挑战性的网络安全数据集上，优于神经网络。

    May, 2022

  • 弱监督学习的本地提升

    本文提出了一种名为 LocalBoost 的弱监督增强框架，从两个维度（即源内和源间）迭代地增强集成模型，进而在七个数据集上达到了优于基准 boosting 方法和其他弱监督方法的表现。

    Jun, 2023

  • 增强式生成模型

    本文提出了一种新的无监督 boosting 方法来创建生成模型的集成，进一步允许集成包括区分真实数据和模拟生成数据的判别模型。作者证明了这种方法在一定条件下能将新模型集成进来以提升适合度，并在基准数据集上对密度估计、分类和样本生成的广泛生成模型应用中展示了黑盒 boosting 算法的有效性。

    Feb, 2017

  • PROVEN：一种基于概率方法验证神经网络的稳健性

    该研究提出了一种概率证明框架 PROVEN，用于验证神经网络在输入加噪时的鲁棒性，可证明分类器的 top-1 预测在受限的 Lp 范数扰动下不会发生改变，证书是基于现有的神经网络鲁棒性验证框架，该方法在 MNIST 和 CIFAR 神经网络模型的实验中取得了 75% 的提升。

    Dec, 2018

  • 多类别提升：简单直观的弱学习准则

    将增强学习推广到多类别情景中，引入了适用于多类别分类的弱学习条件，提出了一种简单高效的增强学习算法，并在列表式 PAC 学习的背景下应用其新的增强技术，证明了其可行性和可靠性。

    Jul, 2023