Jun, 2024

随机重启以克服标签噪声导致的神经网络过拟合

PDF
TL;DR重启训练在含有噪声标签的深度神经网络中显著提高泛化性能，通过近似随机梯度下降动力学为朗之万动力学，我们理论上证明了重启可以在批量大小和损坏数据比例增加时提供巨大改进。同时，我们实验证实了我们的理论，证明了通过重启可以显著改善性能，并且我们的方法容易实施且与其他方法兼容，是处理噪声标签的有价值工具。
发现论文，激发创造
  • 早停梯度下降在过度参数化的神经网络上被证明对标签噪声具有鲁棒性

    本文研究神经网络的训练，证明使用梯度下降法可以在一定的噪声或污染下保证稳健性，避免过拟合。

    Mar, 2019

  • 早停法如何帮助应对标签噪声的泛化问题？

    该论文提出了一种叫做 Prestopping 的新的两个阶段的训练方法，它能够在任何类型的噪声标签下实现无噪声训练，并且通过对四个图像基准数据集的广泛实验证明，在真实世界噪声的存在下，我们的方法的测试效果比四种最先进的方法提高了 0.4-8.2 个百分点。

    Nov, 2019

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • 基于不确定性的噪声图像标签检测和重新标记

    本文提出了一种基于深度神经网络的预测不确定性来识别训练数据中存在的噪声标签并通过迭代程序实现清洗的方法，该方法在 CIFAR-10 和 CIFAR-100 上有良好的性能表现。

    May, 2019

  • SGDR: 带有热重启的随机梯度下降

    本篇论文提出了一种针对随机梯度下降的简单热重启技术，以提高训练深度神经网络的任意性能，并在 CIFAR-10 和 CIFAR-100 数据集上证明了其优越的表现。

    Aug, 2016

  • 使用 Dropout 正则化从嘈杂标签中学习深度网络

    该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集上的数值实验显示，该 dropout 技术优于最先进的方法。

    May, 2017

  • 一种简单有效的正则化方法，用于携带有泛化保证的嘈杂标签数据的训练

    探讨在有噪声标签的情况下，过度参数化的深度神经网络的正则化方法，其中比较有效的包括参数与初始化之间的距离和为每个训练示例添加一个可训练的辅助变量，实验结果表明这些方法能够有效提高模型的泛化性，并且泛化误差的上界独立于网络的大小，可达到无噪声标签情况下的水平。

    May, 2019

  • 理解和改善针对带噪标签学习的早停策略

    本论文提出一种分步训练深度神经网络的方法，称为渐进式提前停止（Progressive Early Stopping, PES），以对抗训练过程中的标签噪声。该方法可以显著提高图像分类质量，并结合现有标签噪声训练方法，达到了最新成果。

    Jun, 2021

  • 用于语言建模的可伸缩循环神经网络贝叶斯学习

    本文提出了基于贝叶斯学习的算法，通过引入随机梯度 Markov Chain Monte Carlo 的思想对 RNN 模型进行权重不确定性学习，从而提高模型在各个任务上的表现。

    Nov, 2016

  • 深度学习对大规模标签噪声具有强韧性

    本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。

    May, 2017