Jun, 2024

用预测的难样本标签重新训练可证明提高模型准确性

PDF
TL;DR通过理论分析，在给定随机受损标签的线性可分情境中，重新训练可以提高模型的整体准确率，并且通过基于共识的重新训练方法在没有额外的隐私成本的情况下显著提高标签差分隐私训练的准确率。
noisy labelsretraininghard labelstheoretical analysislabel differential privacy
发现论文，激发创造
  • 利用带噪标签训练的深度神经网络及其应用

    本文针对网络训练时噪声标签的问题，提出了一种基于交叉验证和合作训练策略的解决方法，成功提高了深度神经网络在合成和实际噪音数据集下的泛化性能。

    May, 2019

  • 数据中心机器学习的重新标记方法

    本文介绍了一种简单的方法，通过使用模型的预测结果，找到并重新标记噪声数据，以解决部分手动标记数据质量不高的问题，并在多项深度学习任务中取得 90 分以上的成绩。实验结果和人类评价结果验证了该方法的有效性。

    Feb, 2023

  • 噪声标签的误差有界修正

    本文介绍了针对大规模标注数据不可避免存在 label noise 问题时，通过使用 noisy classifiers 算法来提高模型鲁棒性，进而讲解了该算法的理论解释，并提出了一种基于该算法的标签校正方法，结合深度神经网络，成功提升了测试性能。

    Nov, 2020

  • 学习中的确认偏见问题：以标签噪声为手段进行打击

    通过融合伪标记和置信度估计技术，Robust LR 方法成功地改善了数据标签噪声和确认偏差，并在以不同级别合成噪声的 CIFAR 和真实噪声的 Mini-WebVision 和 ANIMAL-10N 三个数据集上实现了最先进的性能。

    Dec, 2021

  • 通过最大化重新标记准确性实现噪声标签下的稳健数据修剪

    通过重新标记和剪枝训练集，本研究提出了一种最大化数据子集总体近邻置信度以提高重新标记准确性和泛化性能的数据剪枝算法。在实验中，该算法相比于重新标记模型提高了 9.1%，相比于标准模型提高了 21.6%。

    Nov, 2023

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • 通过重要性加权对带噪声标签的数据进行分类

    本文研究了一个分类问题，其中样本标签被随机损坏。我们解决了如何在有标签噪声的情况下最好地利用传统分类问题的丰富代理损失函数，通过重要性重新加权来使用任何代理损失函数进行带有噪声标签的分类，以及如何获得噪声率的问题。

    Nov, 2014

  • 通过过度参数化实现标签噪音下的稳健训练

    为解决对于干扰数据的过度拟合而影响泛化效果，我们提出了一种基于稀疏过参数化和隐式正则化的优化方案，通过对标签噪声进行建模和分离，实现了对于训练数据中的噪声数据清洗，最终获得了在多个真实数据集上较先进的测试结果，同时为优化过度参数化模型开辟了许多有趣的方向。

    Feb, 2022

  • 训练深度判别神经网络对抗标签噪声的鲁棒性

    该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

    May, 2017

  • 使用自助法训练带有噪声标签的深度神经网络

    该研究提出了一种通用的方法来处理噪声和不完整标记，通过增强具有一致性概念的预测目标，实现相似感知的相同预测。在多个数据集上的实验表明，该方法可以显著提高模型的标签鲁棒性和识别准确率，同时对未标记面部图像也有较好的效果。

    Dec, 2014