Jul, 2023

发挥正则化策略在具有噪声标签的学习中的潜力

PDF
TL;DR本研究表明，使用交叉熵损失结合常用的正则化策略，如学习率下降、模型权重平均和数据增强等，可以优于最先进的方法，在处理学习噪声标签的挑战时，采用一种正则化策略组合可能比复杂的算法更有效。
learning with noisy labelscross-entropy lossregularization strategiesmodel weights averagedata augmentations
发现论文，激发创造
  • 通过稀疏正则化进行有噪标签学习

    本文提出一种基于限制网络输出在固定向量置换集合上的稀疏正则化策略，旨在解决标签噪声存在时常用精度损失函数容易过拟合或欠拟合的问题，结果表明该方法在存在噪声标签和类不平衡情况下能够显著提高精度和优于现有方法。

    Jul, 2021

  • 学习噪声标签的增强策略

    本文研究了应对 “学习有噪音标签” 问题的多种数据增广策略，通过在 CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上的实验，发现在 warm-up 阶段和学习阶段使用不同的增广策略能够最有效地提高 DNNs 的鲁棒性，同时也提出了一种关于样本筛选的增广方法，该方法在对真实噪音数据集进行处理时比其他基线方法取得了更好的结果。

    Mar, 2021

  • 使用 Dropout 正则化从嘈杂标签中学习深度网络

    该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集上的数值实验显示，该 dropout 技术优于最先进的方法。

    May, 2017

  • 输出正则化为什么可以缓解标签噪声问题探究

    本研究探讨利用输出正则化来缓解标签噪声对于损失函数的影响，发现当正则化系数趋于无穷大时，这些损失函数变得对称且稳健。因此，正则化系数可以被看作控制对称性和噪声鲁棒性的超参数。

    Apr, 2021

  • 早期学习规范化防止对噪声标签的记忆化

    提出了一种基于早期学习的新型噪声分类技术框架，使用半监督学习的目标概率和正则化项，防止深层神经网络过于依赖错误标注而导致的过拟合现象。测试结果表明，该方法在多个标准基准数据集和实际数据集上均能达到与现有先进技术可比的鲁棒性。

    Jun, 2020

  • 通过一致性共训练的方法对抗含噪标签的问题及其联合正则化方法

    本文提出了一种名为 JoCoR 的鲁棒学习范例，该范例旨在通过 Co-Regularization 减少两个网络在训练期间的多样性，实验证明该方法在学习具有噪声标签的数据中优于当前许多最先进的方法。

    Mar, 2020

  • 通过过度参数化实现标签噪音下的稳健训练

    为解决对于干扰数据的过度拟合而影响泛化效果，我们提出了一种基于稀疏过参数化和隐式正则化的优化方案，通过对标签噪声进行建模和分离，实现了对于训练数据中的噪声数据清洗，最终获得了在多个真实数据集上较先进的测试结果，同时为优化过度参数化模型开辟了许多有趣的方向。

    Feb, 2022

  • 一致性正则化可提高标签噪声下的鲁棒性

    本论文实验证明，鼓励一致性规则的简单损失函数可以显著提高模型对噪声标签的鲁棒性。

    Oct, 2021

  • 标签噪声：纠正一次修正

    训练神经网络分类器在带有标签噪声的数据集上存在过拟合的风险，为了解决这个问题，研究人员探索了更加稳健的替代损失函数，然而，许多这些替代方法都是启发式的，仍然容易受到过拟合或欠拟合的影响。在本研究中，我们提出了一种更直接的方法来应对标签噪声引起的过拟合问题，我们观察到标签噪声的存在意味着噪声泛化风险的下界，基于这一观察，我们提出在训练过程中对经验风险施加一个下界来减轻过拟合问题。我们的主要贡献是提供了理论结果，给出了不同损失函数下噪声风险的最小可达下界的明确、易于计算的界限。我们通过实验证明，在各种设置中使用这些界限极大地提高了鲁棒性，几乎没有额外的计算成本。

    Jul, 2023

  • 深度学习模型中重新评估损失函数：增强对标签噪声的鲁棒性

    本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

    Jun, 2023