DNN 文本分类的有效标签噪声模型

ACLMar, 2019

An Effective Label Noise Model for DNN Text Classification

Ishan Jindal, Daniel Pressel, Brian Lester, Matthew Nokleby

TL;DR本文提出了一种训练深度网络抵抗标签噪声的方法，通过引入非线性处理层（噪声模型）来将标签噪声的统计模型化到卷积神经网络中，通过实验证明这种方法使得 CNN 可以学习到更好的句子表示，即使在极端的标签噪声情况下仍然很稳健。同时，本文发现正确的噪声模型初始化和正则化对训练结果至关重要，而和图像分类不同的是，改变 batch size 并不会对分类性能有明显影响。

Abstract

Because large, human-annotated datasets suffer from labeling errors, it is crucial to be able to train deep neural networks in the presence of label noise. While training image classification models with label noise have received much attention, training →

label noise deep networks text classification noise model convolutional neural network

发现论文，激发创造

深度学习下存在噪声标签的图像分类：综述

本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題，針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。

Dec, 2019

使用有噪声的标签训练卷积神经网络

本论文探究了在实际情况中，数据标注不可避免地有可能存在噪声标签的情况下，利用引入噪声层的方法，在 Convolutional Network 模型上进行判别性训练以获得更好的性能。同时在多个数据集上进行了实验，包括在 ImageNet 分类基准测试上的大规模试验。

Jun, 2014

分类中的噪音标签处理：一项调查

对于计算机视觉任务尤其是图像分类任务，本综述全面回顾了应对噪声标签的不同深度学习方法的演变，研究了不同的噪声模式，并提出了一种由现实世界数据引导的算法来生成合成标签噪声模式，以形成一个新的以真实世界数据为指导的合成基准，并在该基准上评估了一些典型的噪声鲁棒方法。

Apr, 2024

训练深度判别神经网络对抗标签噪声的鲁棒性

该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

May, 2017

分析标签噪声下分类器的鲁棒性

该研究探讨了标签噪声分类器的稳健性，旨在提高模型对复杂实际场景中的噪声数据的抵抗能力，并通过整合对抗机器学习和重要性重新加权技术来解决标签噪声对实际应用的影响。

Dec, 2023

使深度神经网络对标签噪声具有鲁棒性：一种损失修正方法

该论文提出了一种基于理论的方法来训练深度神经网络，包括循环网络，使其适用于存在类别相关标签噪声的情况，并提出两种提高模型噪声稳健性的损失函数矫正方法和一种端到端的噪声估计框架并进行了大量实验证明了这个方法的实用性和有效性。

Sep, 2016

通过噪声建模实现文本分类标签噪声的鲁棒性

该论文研究了 NLP 中文本分类的标签噪声问题，提出了一种基于 beta 混合模型的辅助噪声模型，通过此模型可以减轻标签噪声对分类器的影响，提高分类准确率并防止过度拟合。

Jan, 2021

对句子级情感分类的噪声标签学习

研究了使用带有噪声标签的数据进行训练时深度神经网络的性能问题，提出了一种名为 NetAb 的卷积神经网络模型以处理噪声标签并使用互惠强化训练法来训练两个卷积神经网络，在句子级情感分类中表现出良好的性能。

Aug, 2019

从含有噪声标签的数据中学习如何学习

本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

Dec, 2018

深度学习对大规模标签噪声具有强韧性

本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。

May, 2017