Mar, 2019

DNN 文本分类的有效标签噪声模型

HTML
PDF
TL;DR本文提出了一种训练深度网络抵抗标签噪声的方法，通过引入非线性处理层（噪声模型）来将标签噪声的统计模型化到卷积神经网络中，通过实验证明这种方法使得CNN可以学习到更好的句子表示，即使在极端的标签噪声情况下仍然很稳健。同时，本文发现正确的噪声模型初始化和正则化对训练结果至关重要，而和图像分类不同的是，改变batch size并不会对分类性能有明显影响。
发现论文，激发创造
  • 使用有噪声的标签训练卷积神经网络

    本论文探究了在实际情况中，数据标注不可避免地有可能存在噪声标签的情况下，利用引入噪声层的方法，在Convolutional Network模型上进行判别性训练以获得更好的性能。同时在多个数据集上进行了实验，包括在ImageNet分类基准测试上的大规模试验。

    Jun, 2014

  • 使深度神经网络对标签噪声具有鲁棒性：一种损失修正方法

    该论文提出了一种基于理论的方法来训练深度神经网络，包括循环网络，使其适用于存在类别相关标签噪声的情况，并提出两种提高模型噪声稳健性的损失函数矫正方法和一种端到端的噪声估计框架并进行了大量实验证明了这个方法的实用性和有效性。

    Sep, 2016

  • 深度学习对大规模标签噪声具有强韧性

    本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。

    May, 2017

  • 训练深度判别神经网络对抗标签噪声的鲁棒性

    该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

    May, 2017

  • 深度学习下存在噪声标签的图像分类：综述

    本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題，針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。

    Dec, 2019

  • 深度神经网络中的噪声标签学习：综述

    本文综述了深度学习中标签噪声的学习问题，提供了62种最新的鲁棒训练方法，并系统性比较了六个评估指标。同时，分析了噪声估计率和评估方法，并提出了未来的几个研究方向。

    Jul, 2020

  • 通过噪声建模实现文本分类标签噪声的鲁棒性

    该论文研究了NLP中文本分类的标签噪声问题，提出了一种基于beta混合模型的辅助噪声模型，通过此模型可以减轻标签噪声对分类器的影响，提高分类准确率并防止过度拟合。

    Jan, 2021

  • 不经过模型训练，检测数据标签是否已损坏

    提出了一种从更加数据中心的视角出发的培训自由的解决方法，以检测标签上的错误。通过邻域信息，提出了基于本地投票和基于排名的方法，从而在合成和实际噪声标签上进行实验证明了该方法的可行性和有效性。

    Oct, 2021

  • 利用特征嵌入实现对带有噪声标签的坚韧学习

    本文提出了一种基于特征嵌入的深度学习带标签噪声的方法（LEND），该方法能利用嵌入特征的内在韧性来有效减少误标签，采用深度学习进行训练并获得鲁棒性分类器。

    Jun, 2022

  • 分类中的噪音标签处理：一项调查

    对于计算机视觉任务尤其是图像分类任务，本综述全面回顾了应对噪声标签的不同深度学习方法的演变，研究了不同的噪声模式，并提出了一种由现实世界数据引导的算法来生成合成标签噪声模式，以形成一个新的以真实世界数据为指导的合成基准，并在该基准上评估了一些典型的噪声鲁棒方法。

    Apr, 2024