Jun, 2022

特征空间噪音分布的形状决定标签噪音的鲁棒性

PDF
TL;DR本论文研究了机器学习中存在的标签噪音问题，提出了一个理论框架来模拟标签噪音分布对分类性能的影响，并发现标签噪音的分布对分类精度有很大的影响，尤其是当噪音集中在特定的特征空间时。此外，论文还探讨了一些解决噪音问题的方法，并发现存在一些困难。
label noisemachine learningclassifiersposterior likelihoodclassification performance
发现论文，激发创造
  • 依赖特征的标记噪声学习：一种渐进式方法

    本文提出了一个基于特征依赖的标签噪声处理算法，该算法采用渐进式标签校正策略，通过理论证明其可以适应广泛的噪声模式并收敛于贝叶斯分类器，实验证明其优于 SOTA 基线算法且对各种噪声类型和程度具有鲁棒性。

    Mar, 2021

  • 基于实例和标签相关的标签噪声的二分类

    本文通过理论分析探讨了在样本噪声存在的情况下，仅使用噪声样本能否学习到可靠模型的问题。作者认为，没有额外假设条件的情况下，经验风险最小化可以达到最优风险上限。此外，文章还讨论了 0-1 损失的极小极大下限问题，认为纯使用噪声样本无法学习。

    Jun, 2023

  • 分析标签噪声下分类器的鲁棒性

    该研究探讨了标签噪声分类器的稳健性，旨在提高模型对复杂实际场景中的噪声数据的抵抗能力，并通过整合对抗机器学习和重要性重新加权技术来解决标签噪声对实际应用的影响。

    Dec, 2023

  • 关于标签噪声下决策树学习的鲁棒性

    本文通过理论分析和大量模拟实验表明：在大样本情况下，许多流行的决策树算法对于对称标签噪声具有鲁棒性，并提供了一些样本复杂度结果来说明其鲁棒性的可靠性。

    May, 2016

  • 噪声标签的误差有界修正

    本文介绍了针对大规模标注数据不可避免存在 label noise 问题时，通过使用 noisy classifiers 算法来提高模型鲁棒性，进而讲解了该算法的理论解释，并提出了一种基于该算法的标签校正方法，结合深度神经网络，成功提升了测试性能。

    Nov, 2020

  • 重新思考标签价值：针对实例相关的标签噪声学习

    本文介绍了基于结构因果模型的深度生成模型算法，解决了大规模数据集中存在的标签噪声问题。该算法有效利用了噪声标签的监督信息，并在合成和实际的噪声标签数据集上表现优异。

    May, 2023

  • 带有噪声标签的高维度学习

    该研究论文探讨了高维二分类在具有条件性噪声标签的情况下的理论视角。通过研究具有标签噪声感知损失函数的线性分类器在维度 p 和样本数 n 都很大且可比时的行为，利用随机矩阵理论和高斯混合数据模型，证明了当 p 和 n 趋近于无穷时，线性分类器的性能收敛至涉及数据的标量统计量的一个界限。重要的是，我们的发现表明低维处理标签噪声的直觉在高维中不成立，即低维中的最优分类器在高维中出现显著失败。基于我们的推导，我们设计了一种优化方法，经证明在处理高维噪声标签方面更加高效。我们的理论结论在真实数据集上的实验证实了我们的优化方法优于考虑的基准方法。

    May, 2024

  • 通过噪声建模实现文本分类标签噪声的鲁棒性

    该论文研究了 NLP 中文本分类的标签噪声问题，提出了一种基于 beta 混合模型的辅助噪声模型，通过此模型可以减轻标签噪声对分类器的影响，提高分类准确率并防止过度拟合。

    Jan, 2021

  • 特征噪声提升标签噪声下的深度神经网络泛化能力

    通过在训练数据的特征上直接添加噪声，可以增强标签噪声下深度神经网络的泛化能力，并且通过对模型权重和特征之间的互信息施加上界来约束 PAC-Bayes 泛化界限，进一步确保深度神经网络在标签噪声下的有效泛化。

    Aug, 2023

  • 标签噪声：纠正一次修正

    训练神经网络分类器在带有标签噪声的数据集上存在过拟合的风险，为了解决这个问题，研究人员探索了更加稳健的替代损失函数，然而，许多这些替代方法都是启发式的，仍然容易受到过拟合或欠拟合的影响。在本研究中，我们提出了一种更直接的方法来应对标签噪声引起的过拟合问题，我们观察到标签噪声的存在意味着噪声泛化风险的下界，基于这一观察，我们提出在训练过程中对经验风险施加一个下界来减轻过拟合问题。我们的主要贡献是提供了理论结果，给出了不同损失函数下噪声风险的最小可达下界的明确、易于计算的界限。我们通过实验证明，在各种设置中使用这些界限极大地提高了鲁棒性，几乎没有额外的计算成本。

    Jul, 2023