Aug, 2022

不均衡分类中的重采样和滤波权衡

PDF
TL;DR在处理高度不平衡的标记分类任务中，选择训练数据的方式会对模型性能产生效果和效率方面上的权衡。在使用英语和阿拉伯语文本序列标记实验中，不同的训练数据选择方法带来了不同的效果和效率权衡；在对高度不平衡情况下的模型性能测试中，使用基于一次检索模型的测试数据过滤和训练数据选择同样重要。而变化的幅度取决于所研究的现象基础率。
imbalanced classification problemsresamplingfiltering techniquestraining datatoken classification task
发现论文，激发创造
  • 重采样对不平衡分类准确性的影响

    研究了不平衡数据集下使用不同的重采样方法对分类准确性的影响，并比较了重采样方法的优缺点。

    Jul, 2017

  • 关于数据集属性选择适当的重采样策略以解决类别不平衡问题

    本文通过比较分析 40 个来自不同应用领域的数据集，研究了不平衡数据分类的各种因素对过采样和欠采样技术的有效性的影响，提出了基于性能度量的自动最优采样策略选择模型，可以在不同领域中选择最合适的方法。

    Dec, 2021

  • 不平衡数据集分类性能提升的重采样技术综述

    研究分类问题中遇到的数据不平衡的情况，讨论了文献中提出的一些重新采样技术，并研究了它们对分类性能的影响。

    Aug, 2016

  • 基于深度学习的自然语言处理中解决类别不平衡问题的方法综述

    针对自然语言处理中的类别不平衡问题，本篇文章综述了基于深度学习的自然语言处理中的类别不平衡现状及其解决方法。通过对采样、数据增强、损失函数、分步学习和模型设计等方法的综述，提出了在多标签情况下处理类别不平衡问题的挑战和必要性，并提出系统化标准和报告的建议。

    Oct, 2022

  • 类别不平衡学习中的去除过采样方法：一次批判性综述

    本文分析了大量过采样方法，并提出了一种新的基于隐藏部分多数类样本进行比较的过采样评估系统。我们的实验证明，所有研究过的过采样方法生成的少数类样本最有可能是多数类。因此，我们认为当前形式和方法的过采样不可靠，并在真实世界应用中应避免使用。

    Feb, 2022

  • 恢复平衡：基于原则的数据欠采样 / 过采样用于最佳分类

    在这项研究中，我们确定了线性分类器（支持向量机）在高维度情况下的泛化曲线的确切分析表达式，并对于数据的类别不平衡性、数据的第一和第二时刻以及所考虑的性能指标的影响给出了锐利的预测。我们表明，涉及数据的欠采样和过采样的混合策略会提高性能。通过数值实验，我们展示了我们理论预测在真实数据集、更深层次的架构和基于无监督概率模型的采样策略上的相关性。

    May, 2024

  • 识别误标记的训练数据

    论文提出了一种新方法，通过使用一组学习算法进行分类器噪声过滤来改善训练数据的质量，从而提高监督学习算法产生的分类准确性。实验结果表明，通过使用多数投票或一致性过滤器可以显著提高分类准确性，而后者更适用于数据匮乏的情况，前者更适用于数据丰富的情况。

    Jun, 2011

  • 论极度不平衡的成对任务自适应数据收集的重要性

    本研究利用基于 BERT 模型的嵌入方法，采用主动学习的方式收集训练数据，创造了更加平衡和信息量更丰富的负例样本，有效提高了 QQP 和 WikiQA 测试数据的平均准确率。

    Oct, 2020

  • 卷积神经网络中类别不平衡问题的系统研究

    本研究系统地研究了类别不平衡对卷积神经网络分类性能的影响，并比较了几种解决该问题的常用方法。在使用三个基准数据集进行实验的过程中，研究者发现类别不平衡对分类性能有不利影响，而通过过采样的方法可以提高分类性能。同时，该研究还发现阈值补偿在一定场景下也能够提高分类性能。

    Oct, 2017

  • 一种基于混合采样的不平衡学习框架

    研究提出了一种新型的样本采样算法，“SMOTE-RUS-NC”，它可以通过结合三种不同的采样技术来实现数据的平衡处理，进而提高分类算法的性能，特别是能够在高度不平衡的数据集中表现出卓越的效果。

    Aug, 2022