Dec, 2017

MentorNet: 基于数据学习的课程设计模型，面向深度神经网络且具有噪声标签的情况

PDF
TL;DR本文提出了针对深度神经网络在存在噪声标签的情况下出现的过拟合现象的解决方法，使用一个名为 MentorNet 的神经网络来指导训练，使得学生网络 StudentNet 能够动态地学习数据驱动的课程并关注那些可能被正确标记的样本，实验证明该方法可以显著提高在噪声标签下训练的深度网络的泛化性能，并在包含 220 万张真实世界噪声标签的 WebVision 基准测试中获得最佳的已发布结果。
deep networksoverfittingmentornetstudentnetcorrupted training data
发现论文，激发创造
  • CurriculumNet: 大规模网络图像弱监督学习

    该论文提出了一种基于课程学习的弱监督学习方法，通过对大规模网络图像数据进行无人工标注的深度神经网络训练，实现对大量噪声数据和数据分布不均等问题的有效处理和噪声标签的负面影响的显著降低，构建一种新的课程学习架构，使得使用高噪声标签的图像作为一种正则化策略可以惊人地提高模型的泛化能力，在 WebVision、ImageNet、Clothing-1M 和 Food-101 等四个基准测试中取得了最先进的性能，多模型集成的结果在 1000 种类别分类中取得了 5.2% 的 top-5 错误率，相对误差率超过 50%。

    Aug, 2018

  • 控制性弱监督训练神经网络：避免重复导师的错误

    该研究提出了一种半监督学习方法，利用一个 “目标网络” 和一个 “置信网络” 进行多任务训练，在大量弱注释未标注数据上优化目标网络，同时用置信网络的分数来加权目标网络的梯度更新，以避免噪声标签对目标网络模型的质量造成损害，并在评估中证明其相对基线的性能得到提高，同时从弱标签中提高了学习速度。

    Nov, 2017

  • 共同教学：针对极度嘈杂标签的深度神经网络的强健训练

    本文提出了一种新的深度学习范式 Co-Teaching，它通过同时运用两个神经网络，自我纠正，相互辅助学习，从而提高了模型在嘈杂标签下的稳健性。

    Apr, 2018

  • 通过全监督学习从弱监督学习中学习

    本文介绍了一种在大数据情况下使用弱标签和少量真正标注数据训练神经网络的方法，通过训练目标网络和置信网络来控制目标网络的梯度更新，从而避免使用有噪音标记的数据更新网络权重会影响目标网络模型的品质。

    Nov, 2017

  • 深度学习对大规模标签噪声具有强韧性

    本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。

    May, 2017

  • 噪声鲁棒图像分类的协同网络学习和标签纠正

    提出了一个深度学习神经网络的标签检查和修正方法，该方法结合了小损失选择和噪声校正的思想，采用两个不同的网络来通过小损失选择方法训练，并根据两网络的分类误差和同意误差的评估来度量训练数据的置信度，在真实和人工数据集上测试表明该方法优于基准方法。

    Feb, 2022

  • 用于嘈杂图像分类的学习顾问网络

    本文提出了基于顾问网络的新概念，旨在解决图像分类中存在噪声标签的问题。通过元学习方法训练顾问网络，不仅可以提高分类器的性能，还可以利用含有噪声标签的数据。该方法在 CIFAR10、CIFAR100 和 Clothing1M 数据集上的实验结果显示出了最先进的效果。

    Nov, 2022

  • ScreenerNet: 深度神经网络自适应学习

    使用一个附加的深度神经网络 ScreenerNet，以一个自适应的方式为监督学习和深度强化学习制定课程，ScreenerNet 不仅不具有采样偏差，也无需记忆过去的学习历史，最终在 MNIST、CIFAR10 和 Pascal VOC2012 以及 Cart-pole 深度强化学习任务中，与目前最先进的学习方法相比，通过使用 ScreenerNet 增强的网络实现更好的精度和更快的收敛。

    Jan, 2018

  • 元学习软标签校正器学习去噪标签

    本文提出了一种基于元学习方法的元 - 梯度下降模型，可自适应地根据当前的训练问题迭代地获取校正后的软标签，无需手动预设超参数，从而解决了深度神经网络容易过度拟合含有噪声标签的训练数据的问题。

    Aug, 2020

  • 训练深度判别神经网络对抗标签噪声的鲁棒性

    该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

    May, 2017