Mar, 2020

标签噪声类型及其对深度学习的影响

PDF
TL;DR本研究分析了不同类型的标签噪声对深度学习的影响，提出了一种基于特征相关性的标签噪声生成方法，并提供了常用基准数据集的标签噪声以便其他研究人员测试其算法。
deep learningnoisy labelsfeature-dependent label noisesynthetic labelsbenchmark datasets
发现论文，激发创造
  • 深度学习下存在噪声标签的图像分类：综述

    本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題，針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。

    Dec, 2019

  • 医学影像分析中的噪声标签深度学习技术探究与研究

    探讨了深度学习中标签噪声的影响，特别是在医疗应用中，给出了针对性的解决方案和建议，以提高深度模型在医疗图像分析中的准确程度。

    Dec, 2019

  • 分类中的噪音标签处理：一项调查

    对于计算机视觉任务尤其是图像分类任务，本综述全面回顾了应对噪声标签的不同深度学习方法的演变，研究了不同的噪声模式，并提出了一种由现实世界数据引导的算法来生成合成标签噪声模式，以形成一个新的以真实世界数据为指导的合成基准，并在该基准上评估了一些典型的噪声鲁棒方法。

    Apr, 2024

  • 深度神经网络中的噪声标签学习：综述

    本文综述了深度学习中标签噪声的学习问题，提供了 62 种最新的鲁棒训练方法，并系统性比较了六个评估指标。同时，分析了噪声估计率和评估方法，并提出了未来的几个研究方向。

    Jul, 2020

  • 处理 BERT 文本分类中的现实标签噪声

    本文研究了标签噪声对 BERT 在监督分类任务中的影响，发现现实标签噪声可以严重降低 BERT 的分类性能，探讨了如何使用集成方法和噪声清洗方法来提高模型的稳健性。

    May, 2023

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • 控制噪声标签的深度学习：超越合成噪声

    本文通过建立了第一个来自网络的真实标签噪声控制基准，解决了以往研究只着眼于控制合成标签噪声的缺点，并通过简单而有效的方法克服了合成和真实噪声标签，对不同噪声水平、噪声类型、网络结构和训练设置等方面进行了迄今为止最大的研究，以深入了解深度神经网络在噪声标签训练中的表现。

    Nov, 2019

  • 深度学习对大规模标签噪声具有强韧性

    本研究证明，基于深度神经网络的图像分类模型可以从含有数量远多于准确标签的训练数据中进行有效学习，表现出良好的测试性能提升，这种学习需要增加数据集大小作为代价。

    May, 2017

  • NoisywikiHow：自然语言处理中用于真实世界噪声标签学习的基准

    本研究构建了最大的 NLP 基准 NoisywikiHow，用于学习真实世界中存在噪声标签的情况。该基准数据集通过模拟人类误差构建多个标签噪声来源，并提供多种噪声水平，以支持对含噪数据进行控制实验，并为对学习噪声标签方法（LNL）进行全面系统地评估提供了可能。

    May, 2023

  • 特征噪声提升标签噪声下的深度神经网络泛化能力

    通过在训练数据的特征上直接添加噪声，可以增强标签噪声下深度神经网络的泛化能力，并且通过对模型权重和特征之间的互信息施加上界来约束 PAC-Bayes 泛化界限，进一步确保深度神经网络在标签噪声下的有效泛化。

    Aug, 2023