CVPRNov, 2019

使用带有噪声的自我训练方法提高 ImageNet 分类准确率

PDF
TL;DR通过使用更大的学生模型和在学习过程中添加噪声，该文提出了一种名为 'Noisy student training' 的半监督学习方法，在大规模高质量图像分类任务 ImageNet 上取得了 88.4% 的准确率，并在鲁棒性测试集上表现优异。
noisy student trainingsemi-supervised learningimagenetself-trainingdistillation
发现论文，激发创造
  • 提高噪声学生训练用于自动语音识别

    本文研究了在自动语音识别中使用自适应 SpecAugment 的噪声自适应训练方法，通过过滤、平衡和增强数据集，成功地提高了网络性能，使 WER 在 LibriSpeech 测试集上分别为 4.2％/8.6％（无噪声 / 有噪声），并在 LibriLight 上达到了 1.7％/3.4％（无噪声 / 有噪声）

    May, 2020

  • CleanNet: 基于转移学习的带标签噪声的可扩展图像分类器训练

    使用 CleanNet 作为联合神经嵌入网络的核心，我们在图像分类模型中学习标签噪声，通过较少的人工监督，仅验证一小部分类别即可降低训练模型的标签噪声误差，并通过多项实验验证了该算法在实际数据测试中的有效性。

    Nov, 2017

  • 从严重标签噪声中提炼有效的监督

    该论文提出了一种全新的训练深度神经网络的方法，在标签噪音的情况下拥有高稳健性，通过利用小的可信集合来估计样本权重和伪标签以重复使用它们进行监督训练。该方法在各种类型的标签噪声和大规模真实世界标签噪声数据集上取得了最新的最优表现。

    Oct, 2019

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • 无监督数据增强的一致性训练

    通过使用先进的数据增强方法 RandAugment 和后向翻译来取代简单噪声操作，在大量无标签数据上进行一致性训练，从而在六种语言和三个视觉任务中带来了显著的改进，并在 CIFAR-10 数据集上超过了所有先前的方法，实现了错误率为 5.43，只使用了 250 个示例。

    Apr, 2019

  • 基于半监督两阶段方法的噪声标签学习

    本研究提出了一种应对嘈杂标签的无监督半监督深度神经网络学习框架，通过在噪声图像标注中识别出标签准确度较高的部分数据，并利用半监督学习方式训练深度神经网络以更好地利用整个数据集。

    Feb, 2018

  • 在最小监督下从嘈杂大规模数据集中学习

    本文介绍了一种使用大型包含嘈杂注释图像和少量清洁注释图像联合进行学习的方法，它由一个多任务网络组成，可以在清洁注释的帮助下减少大型数据集中的噪音，并在清洁数据集和带有降噪的完整数据集上进行微调学习，其结果比直接微调方法在 Open Image 数据集中的所有主要类别中均表现优异，特别适用于具有 20-80％注释噪音的大量类别。

    Jan, 2017

  • 从有噪标签的数据中进行深度自学习

    提出了一种新的深度自学习框架，用于在真实嘈杂的数据集上训练鲁棒性网络，无需额外的监督，并且与大多数现有方法不同，它不依赖于嘈杂标签分布的任何假设，具有更好的性能。

    Aug, 2019

  • Self2Self+: 自监督学习与图像质量评估损失的单图像降噪

    利用单一图像进行自监督学习的提出方法利用门控卷积进行特征提取及无参考图像质量评估引导训练过程，采用伯努利采样从输入图像数据集中选择样本进行训练，并通过平均来自训练网络具有中断的各个实例的生成预测来产生相应结果，实验结果表明所提出的方法在合成和真实世界数据集上实现了最先进的去噪性能，突显了该方法作为各种噪声去除任务的有效性和实用性。

    Jul, 2023

  • 高质量自监督深度图像去噪

    利用一种新颖的训练方法，基于有噪声图像的非组织集合来培训高质量的图像去噪模型，通过采用具有感受野盲区的网络来消除对参考数据的需要，提高了图像质量和训练效率，最终结果质量与最先进的神经网络去噪器相当。

    Jan, 2019