本文介绍了基于结构因果模型的深度生成模型算法,解决了大规模数据集中存在的标签噪声问题。该算法有效利用了噪声标签的监督信息,并在合成和实际的噪声标签数据集上表现优异。
May, 2023
本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題,針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。
Dec, 2019
该研究提出一种二阶方法来处理深度神经网络训练中的标签噪音问题,使用此方法可以解决由任务难度引起的实例相关的噪音,提供一个新的损失函数来处理实例相关噪音,进而能够使用已有的类相关噪音的解决方案来处理该问题。
Dec, 2020
本文提出了一种利用结构因果模型的生成方法来应对标签噪声的问题,证明了合理地建模示例有助于识别标签噪声转移矩阵,从而带来更好的分类器,该方法在合成和真实世界的标签噪声数据集上均优于所有最先进的方法。
Sep, 2021
本文通过理论分析探讨了在样本噪声存在的情况下,仅使用噪声样本能否学习到可靠模型的问题。作者认为,没有额外假设条件的情况下,经验风险最小化可以达到最优风险上限。此外,文章还讨论了 0-1 损失的极小极大下限问题,认为纯使用噪声样本无法学习。
Jun, 2023
该研究探讨了标签噪声分类器的稳健性,旨在提高模型对复杂实际场景中的噪声数据的抵抗能力,并通过整合对抗机器学习和重要性重新加权技术来解决标签噪声对实际应用的影响。
Dec, 2023
本文提出了一种训练深度网络抵抗标签噪声的方法,通过引入非线性处理层(噪声模型)来将标签噪声的统计模型化到卷积神经网络中,通过实验证明这种方法使得 CNN 可以学习到更好的句子表示,即使在极端的标签噪声情况下仍然很稳健。同时,本文发现正确的噪声模型初始化和正则化对训练结果至关重要,而和图像分类不同的是,改变 batch size 并不会对分类性能有明显影响。
Mar, 2019
本文提出了一个基于特征依赖的标签噪声处理算法,该算法采用渐进式标签校正策略,通过理论证明其可以适应广泛的噪声模式并收敛于贝叶斯分类器,实验证明其优于 SOTA 基线算法且对各种噪声类型和程度具有鲁棒性。
Mar, 2021
本文提出一种噪声容忍的训练算法,其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练,该元学习方法训练模型,以便在使用每个设置的合成噪声标签进行一次梯度更新后,模型不会过度拟合特定的噪声,从而提高深度神经网络的性能。
Dec, 2018
该论文研究了 NLP 中文本分类的标签噪声问题,提出了一种基于 beta 混合模型的辅助噪声模型,通过此模型可以减轻标签噪声对分类器的影响,提高分类准确率并防止过度拟合。
Jan, 2021