噪声容忍互相学习中的一致或不一致?
本文提出了一种新的深度学习范式 Co-Teaching,它通过同时运用两个神经网络,自我纠正,相互辅助学习,从而提高了模型在嘈杂标签下的稳健性。
Apr, 2018
提出了一种名为 Co-teaching + 的稳健学习范例,它将 “Update by Disagreement” 策略与原始的 Co-teaching 相结合,以解决由于与同伴网络达成一致而导致 Co-teaching 退化为自训练的 MentorNet 的问题。实证结果表明,Co-teaching + 在训练模型的稳健性方面比许多最先进的方法优秀。
Jan, 2019
本文提出了一种名为 JoCoR 的鲁棒学习范例,该范例旨在通过 Co-Regularization 减少两个网络在训练期间的多样性,实验证明该方法在学习具有噪声标签的数据中优于当前许多最先进的方法。
Mar, 2020
本文提出一种噪声容忍的训练算法,其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练,该元学习方法训练模型,以便在使用每个设置的合成噪声标签进行一次梯度更新后,模型不会过度拟合特定的噪声,从而提高深度神经网络的性能。
Dec, 2018
本文通过模型和数据维度尝试处理嘈杂标签学习中的误差积累问题。引入均值点集成方法来利用更鲁棒的损失函数和未被选择样本中的更多信息从模型角度减少误差积累;从数据角度,选择翻转图像的损失值来代替原始图像的损失值选择小损失样本,以减少误差积累。在 CIFAR-10、CIFAR-100 和大规模 Clothing1M 上的广泛实验表明,我们的方法优于不同噪声水平的最先进的嘈杂标签学习方法,也可以与其他噪声标签学习方法无缝结合以进一步提高它们的性能并很好地推广给其他任务。
Dec, 2022
该论文提出通过使用两个 CNN 模型互相学习的 Noisy Concurrent Training 方法,以在标签噪音的情况下避免模型记忆随机标签并提高泛化性能,并运用目标可变性技术进行正则化。在仿真和真实世界的嘈杂数据集上展示了该方法的有效性。
Sep, 2020
该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架,并使用一个无向图模型来描述干净和嘈杂标签之间的关系,在监督学习过程中学习这个模型。该模型在图像标注问题上应用,并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。
May, 2017
提出了一个深度学习神经网络的标签检查和修正方法,该方法结合了小损失选择和噪声校正的思想,采用两个不同的网络来通过小损失选择方法训练,并根据两网络的分类误差和同意误差的评估来度量训练数据的置信度,在真实和人工数据集上测试表明该方法优于基准方法。
Feb, 2022
本文提出了 TCL 模型,通过 Gaussian mixture model 等技术处理嘈杂标注数据,采用 mixup 和 contrastive learning 等方式学习鲁棒性特征表示和分类,实验结果显示 TCL 在多个数据集上具有优越性能。
Mar, 2023
研究通过一种名为 Learning with Ensemble Consensus (LEC) 的新训练方法解决了深度神经网络在存在标签噪声时过拟合的问题,该方法通过对众多神经网络的一定扰动下的结果进行共识,剔除出噪声样本,其中一个提出的 LEC,即 LTEC 在 MNIST,CIFAR-10,和 CIFAR-100 数据集上表现出更高的分类准确率,且效率较高。
Oct, 2019