基于小损失准则的噪声标签深度学习理解
本论文探究了在实际情况中,数据标注不可避免地有可能存在噪声标签的情况下,利用引入噪声层的方法,在Convolutional Network模型上进行判别性训练以获得更好的性能。同时在多个数据集上进行了实验,包括在ImageNet分类基准测试上的大规模试验。
Jun, 2014
本研究证明,基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习,表现出良好的测试性能提升,这种学习需要增加数据集大小作为代价。
May, 2017
本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法,并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件,同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的,并且标准反向传播足以学习出真正的分类器。
Dec, 2017
本研究提出了一种应对嘈杂标签的无监督半监督深度神经网络学习框架,通过在噪声图像标注中识别出标签准确度较高的部分数据,并利用半监督学习方式训练深度神经网络以更好地利用整个数据集。
Feb, 2018
本文研究如何在存在噪声标签的情况下训练精确的深度神经网络。我们提出了一种名为Active Passive Loss(APL)的框架来构建稳健损失函数,其结合了两种互相促进的稳健损失函数。实验表明,我们的新的损失函数家族可以在大噪声率下始终优于现有方法。
Jun, 2020
本文综述了深度学习中标签噪声的学习问题,提供了62种最新的鲁棒训练方法,并系统性比较了六个评估指标。同时,分析了噪声估计率和评估方法,并提出了未来的几个研究方向。
Jul, 2020
本文研究了应对“学习有噪音标签”问题的多种数据增广策略,通过在 CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上的实验,发现在 warm-up 阶段和学习阶段使用不同的增广策略能够最有效地提高 DNNs 的鲁棒性,同时也提出了一种关于样本筛选的增广方法,该方法在对真实噪音数据集进行处理时比其他基线方法取得了更好的结果。
Mar, 2021
提出了一种从更加数据中心的视角出发的培训自由的解决方法,以检测标签上的错误。通过邻域信息,提出了基于本地投票和基于排名的方法,从而在合成和实际噪声标签上进行实验证明了该方法的可行性和有效性。
Oct, 2021
本文通过模型和数据维度尝试处理嘈杂标签学习中的误差积累问题。引入均值点集成方法来利用更鲁棒的损失函数和未被选择样本中的更多信息从模型角度减少误差积累;从数据角度,选择翻转图像的损失值来代替原始图像的损失值选择小损失样本,以减少误差积累。在CIFAR-10、CIFAR-100和大规模Clothing1M上的广泛实验表明,我们的方法优于不同噪声水平的最先进的嘈杂标签学习方法,也可以与其他噪声标签学习方法无缝结合以进一步提高它们的性能并很好地推广给其他任务。
Dec, 2022