学习噪声标签的模型和数据一致性

AAAIDec, 2022

学习噪声标签的模型和数据一致性

Model and Data Agreement for Learning with Noisy Labels

Yuhang Zhang, Weihong Deng, Xingchen Cui, Yunfeng Yin, Hongzhi Shi...

TL;DR本文通过模型和数据维度尝试处理嘈杂标签学习中的误差积累问题。引入均值点集成方法来利用更鲁棒的损失函数和未被选择样本中的更多信息从模型角度减少误差积累；从数据角度，选择翻转图像的损失值来代替原始图像的损失值选择小损失样本，以减少误差积累。在 CIFAR-10、CIFAR-100 和大规模 Clothing1M 上的广泛实验表明，我们的方法优于不同噪声水平的最先进的嘈杂标签学习方法，也可以与其他噪声标签学习方法无缝结合以进一步提高它们的性能并很好地推广给其他任务。

Abstract

Learning with noisy labels is a vital topic for practical deep learning as models should be robust to noisy open-world datasets in the wild. The state-of-the-art noisy label learning approach JoCoR fails when fac

noisy labels deep learning error accumulation mean point ensemble cifar

发现论文，激发创造

学习噪声标签的联合优化框架

本文提出了一种利用联合优化框架来学习深度神经网络参数和估算真实标签的方法，以克服在噪声标签数据集上进行训练导致性能下降的问题，实验结果表明该方法在解决 CIFAR-10 噪声数据集和 Clothing1M 数据集分类问题上优于其他最先进的方法。

Mar, 2018

从含有噪声标签的数据中学习如何学习

本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

Dec, 2018

具有损失不确定性的样本选择及其在带噪声标签学习中的应用

本研究提出了一种无标签学习的新方法，将区间估计引入了样本选择过程，以更好地探索未被充分选择的正确标注但看似贴错标签的较大损失数据和代表性差的数据，提高了误标噪声下的学习鲁棒性。

Jun, 2021

从严重标签噪声中提炼有效的监督

该论文提出了一种全新的训练深度神经网络的方法，在标签噪音的情况下拥有高稳健性，通过利用小的可信集合来估计样本权重和伪标签以重复使用它们进行监督训练。该方法在各种类型的标签噪声和大规模真实世界标签噪声数据集上取得了最新的最优表现。

Oct, 2019

噪声鲁棒图像分类的协同网络学习和标签纠正

提出了一个深度学习神经网络的标签检查和修正方法，该方法结合了小损失选择和噪声校正的思想，采用两个不同的网络来通过小损失选择方法训练，并根据两网络的分类误差和同意误差的评估来度量训练数据的置信度，在真实和人工数据集上测试表明该方法优于基准方法。

Feb, 2022

训练深度判别神经网络对抗标签噪声的鲁棒性

该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

May, 2017

通过一致性共训练的方法对抗含噪标签的问题及其联合正则化方法

本文提出了一种名为 JoCoR 的鲁棒学习范例，该范例旨在通过 Co-Regularization 减少两个网络在训练期间的多样性，实验证明该方法在学习具有噪声标签的数据中优于当前许多最先进的方法。

Mar, 2020

对抗噪声标签的稳健特征学习

This paper proposes a method to improve the robustness of deep learning models in the presence of noisy labels by utilizing unsupervised learning and cluster regularization.

Jul, 2023

带有集合共识的鲁棒训练

研究通过一种名为 Learning with Ensemble Consensus (LEC) 的新训练方法解决了深度神经网络在存在标签噪声时过拟合的问题，该方法通过对众多神经网络的一定扰动下的结果进行共识，剔除出噪声样本，其中一个提出的 LEC，即 LTEC 在 MNIST，CIFAR-10，和 CIFAR-100 数据集上表现出更高的分类准确率，且效率较高。

Oct, 2019

无监督标签噪声建模与损失修正

本文提出了一种使用 beta 混合模型作为无监督生成模型，实时估计样本被错误标记的概率的方法，并通过 bootstrapping loss 来校正模型。同时，作者还对 mixup 数据增强方法做了进一步优化，实验证明该方法具有比最近最先进的方法更强的标签噪声鲁棒性。

Apr, 2019