本文提出了一种训练深度网络抵抗标签噪声的方法,通过引入非线性处理层(噪声模型)来将标签噪声的统计模型化到卷积神经网络中,通过实验证明这种方法使得 CNN 可以学习到更好的句子表示,即使在极端的标签噪声情况下仍然很稳健。同时,本文发现正确的噪声模型初始化和正则化对训练结果至关重要,而和图像分类不同的是,改变 batch size 并不会对分类性能有明显影响。
Mar, 2019
该论文研究了 NLP 中文本分类的标签噪声问题,提出了一种基于 beta 混合模型的辅助噪声模型,通过此模型可以减轻标签噪声对分类器的影响,提高分类准确率并防止过度拟合。
Jan, 2021
本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題,針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。
Dec, 2019
对于计算机视觉任务尤其是图像分类任务,本综述全面回顾了应对噪声标签的不同深度学习方法的演变,研究了不同的噪声模式,并提出了一种由现实世界数据引导的算法来生成合成标签噪声模式,以形成一个新的以真实世界数据为指导的合成基准,并在该基准上评估了一些典型的噪声鲁棒方法。
Apr, 2024
该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架,并使用一个无向图模型来描述干净和嘈杂标签之间的关系,在监督学习过程中学习这个模型。该模型在图像标注问题上应用,并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。
May, 2017
该论文提出了一种基于理论的方法来训练深度神经网络,包括循环网络,使其适用于存在类别相关标签噪声的情况,并提出两种提高模型噪声稳健性的损失函数矫正方法和一种端到端的噪声估计框架并进行了大量实验证明了这个方法的实用性和有效性。
Sep, 2016
本文综述了深度学习中标签噪声的学习问题,提供了 62 种最新的鲁棒训练方法,并系统性比较了六个评估指标。同时,分析了噪声估计率和评估方法,并提出了未来的几个研究方向。
Jul, 2020
本文针对网络训练时噪声标签的问题,提出了一种基于交叉验证和合作训练策略的解决方法,成功提高了深度神经网络在合成和实际噪音数据集下的泛化性能。
May, 2019
训练神经网络分类器在带有标签噪声的数据集上存在过拟合的风险,为了解决这个问题,研究人员探索了更加稳健的替代损失函数,然而,许多这些替代方法都是启发式的,仍然容易受到过拟合或欠拟合的影响。在本研究中,我们提出了一种更直接的方法来应对标签噪声引起的过拟合问题,我们观察到标签噪声的存在意味着噪声泛化风险的下界,基于这一观察,我们提出在训练过程中对经验风险施加一个下界来减轻过拟合问题。我们的主要贡献是提供了理论结果,给出了不同损失函数下噪声风险的最小可达下界的明确、易于计算的界限。我们通过实验证明,在各种设置中使用这些界限极大地提高了鲁棒性,几乎没有额外的计算成本。
Jul, 2023
本研究证明,基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习,表现出良好的测试性能提升,这种学习需要增加数据集大小作为代价。