Apr, 2024

对装袋不足进行复制分析

PDF
TL;DR通过对一种用于从不平衡数据中训练分类器的流行集成学习方法的尖锐渐近性进行推导，本文比较了与几种其他标准方法在从二元混合数据中训练线性分类器的情况下学习不平衡数据的性能。从结果中发现，增加多数类别的大小可以提高 UB 的性能，特别是当少数类别的大小较小时。与之相反，US 的性能不随多数类别的大小变化而变化，而 SW 的性能则随不平衡程度的增加而降低，表明集成和对参数的直接正则化之间存在固有差异。
under-baggingensemble learningimbalanced datalinear classifierclass imbalance
发现论文，激发创造
  • 非参数分类中欠采样是一种极小化最优鲁棒干预的方法

    通过研究分布偏移现象，揭示在非参数分类的情况下，算法无法超越欠采样算法的性能极限，除非训练和测试数据分布高度重叠或算法利用有关分布偏移的附加结构，在标签移位的情况下，有最优的欠采样算法，而在群组协变量移位的情况下，当群组分布之间的重叠较小时，有最优的欠采样算法。

    May, 2022

  • CUSBoost: 基于聚类的欠采样和增强学习的不平衡分类

    本文提出了 CUSBoost 算法，它是一种基于聚类和 AdaBoost 算法的欠采样方法，用于有效解决类别不平衡问题，实验结果表明，CUSBoost 是处理高度不平衡数据集的一个有前途的、有效的方法。

    Dec, 2017

  • SMOTE: 合成少数类过采样技术

    本文介绍了一种从不平衡数据集中构建分类器的方法，通过在少数类过抽样和多数类欠抽样的组合使用，可以在 ROC 空间中实现比 Ripper 方法和朴素贝叶斯更好的分类器性能。

    Jun, 2011

  • 重新振兴阈值移动：用于二元和多类不平衡数据的简单插件 Bagging 集成

    本文提出了一种名为 PT-bagging 的概率阈值打分组合方法解决了数据挖掘中类别不平衡的问题，并对其进行了验证和分析。

    Jun, 2016

  • 简单数据平衡实现竞争性最差组准确性

    本研究探讨了在已知或未知数据组之间表现良好的分类器的学习问题。研究发现，在常见的最差群组准确率数据集中存在重大不平衡，因此对比了最先进的方法与通过数据的子采样或重新加权来平衡类和组的简单数据平衡基线。结果表明，这些数据平衡基线的准确性达到了最先进水平，并且训练速度更快，不需要额外的超参数。此外，本研究强调，访问组信息对于模型选择很关键，但在训练过程中重要性不太高。总之，我们的发现呼吁更仔细地研究最差群组准确度优化的基准和方法。

    Oct, 2021

  • 恢复平衡：基于原则的数据欠采样 / 过采样用于最佳分类

    在这项研究中，我们确定了线性分类器（支持向量机）在高维度情况下的泛化曲线的确切分析表达式，并对于数据的类别不平衡性、数据的第一和第二时刻以及所考虑的性能指标的影响给出了锐利的预测。我们表明，涉及数据的欠采样和过采样的混合策略会提高性能。通过数值实验，我们展示了我们理论预测在真实数据集、更深层次的架构和基于无监督概率模型的采样策略上的相关性。

    May, 2024

  • 一种基于混合采样的不平衡学习框架

    研究提出了一种新型的样本采样算法，“SMOTE-RUS-NC”，它可以通过结合三种不同的采样技术来实现数据的平衡处理，进而提高分类算法的性能，特别是能够在高度不平衡的数据集中表现出卓越的效果。

    Aug, 2022

  • Less Is Better: 通过影响函数进行无权数据子采样

    本研究提出了一种新的非加权数据子采样（UIDS）方法，并证明通过我们的方法获取的子集模型可以优于完整集模型。同时，我们开发了一种概率取样方案，以控制接近经验分布的所有分布的最坏情况风险，实验结果证明了我们方法在文本分类，图像分类，点击率预测等各种任务中优于现有的子采样方法。

    Dec, 2019

  • 装袋法显著提升泛化效果

    通过在参数化级别适当地聚合基学习器而非输出级别，Bagging 能够以指数衰减减少慢慢消失的推广误差，从而显著提升推广性能。

    May, 2024

  • 自举式上置信域界限算法

    本文提出了一种基于乘数 bootstrap 的非参数和数据相关的 UCB 算法，并进一步将二阶校正融入该算法，在理论上，我们推导出了在比标准次高斯性更弱的尾部假设下的多臂老虎机的问题相关和问题无关的后悔边界，数值结果表明 UCB 算法相比其他基线在一系列多臂和线性老虎机问题中都有显著的降低后悔

    Jun, 2019