ACLMay, 2023

NoisywikiHow：自然语言处理中用于真实世界噪声标签学习的基准

PDF
TL;DR本研究构建了最大的 NLP 基准 NoisywikiHow，用于学习真实世界中存在噪声标签的情况。该基准数据集通过模拟人类误差构建多个标签噪声来源，并提供多种噪声水平，以支持对含噪数据进行控制实验，并为对学习噪声标签方法（LNL）进行全面系统地评估提供了可能。
label noiselearning with noisy labelsnoisywikihownlp benchmarkgeneralization performance
发现论文，激发创造
  • 有噪声标签的学习再探讨：使用真实世界人类注释的研究

    本论文介绍了两个基准数据集 CIFAR-10N 和 CIFAR-100N，使用这些数据集可以更好地理解真实世界嘈杂标签和合理地处理它们，量化和定性显示真实世界嘈杂标签表现出依赖于实例模式，与传统的基于类假设和合成标签的模式不同。并且，还通过与人工噪声和类依赖的合成噪声的对比研究，研究了记忆正确和错误预测的情况，从而表明真实世界的噪声模式比合成噪声模式更具挑战性，需要重新考虑带噪标签的学习问题。

    Oct, 2021

  • BadLabel: 评估和增强标签噪音学习的强健视角

    本文介绍了一种新型标签噪声类型，称为 BadLabel，旨在增强现有 LNL 算法的鲁棒性，并提出了一种基于对抗性的鲁棒 LNL 方法来解决 BadLabel 的问题，实验证明该方法能有效地提高模型的泛化性能。

    May, 2023

  • 控制噪声标签的深度学习：超越合成噪声

    本文通过建立了第一个来自网络的真实标签噪声控制基准，解决了以往研究只着眼于控制合成标签噪声的缺点，并通过简单而有效的方法克服了合成和真实噪声标签，对不同噪声水平、噪声类型、网络结构和训练设置等方面进行了迄今为止最大的研究，以深入了解深度神经网络在噪声标签训练中的表现。

    Nov, 2019

  • NoiseBench: 命名实体识别中真实标签噪声对性能的基准测试

    提出了一个包含 6 种真实噪音的 NER 基准，证明真实噪音比模拟噪音更具挑战性，并展示当前最先进的噪音鲁棒学习模型远未达到其理论可达的上限。

    May, 2024

  • LNL+K: 噪声标签学习与噪声源概率分布知识

    本文介绍了一种新的学习任务 —— 带有噪声标签和噪声源分布知识的学习，并探索了几种方法，将噪声源知识整合到最先进的 LNL 方法中，在三个不同的数据集和三种噪声类型上报告了与未经调整的方法相比提高 5-15% 的性能，突出了直接探究 LNL + K 任务的重要性。

    Jun, 2023

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • 深度神经网络中的噪声标签学习：综述

    本文综述了深度学习中标签噪声的学习问题，提供了 62 种最新的鲁棒训练方法，并系统性比较了六个评估指标。同时，分析了噪声估计率和评估方法，并提出了未来的几个研究方向。

    Jul, 2020

  • 标签噪声类型及其对深度学习的影响

    本研究分析了不同类型的标签噪声对深度学习的影响，提出了一种基于特征相关性的标签噪声生成方法，并提供了常用基准数据集的标签噪声以便其他研究人员测试其算法。

    Mar, 2020

  • 标签噪声表示学习综述：过去，现在和未来

    该研究论文通过机器学习的视角，提供了正式的 LNRL 定义并分析了噪声标签对深度学习模型性能的影响。在此基础上，将 LNRL 方法划分为三种不同方向，并讨论了各种分类的优缺点。论文旨在提高通过设计鲁棒的 LNRL 方法进行深度学习模型训练的效率，同时提出了一些其他研究方向。

    Nov, 2020

  • 分析逼真嘈杂标签数据的噪声模型误差

    本文通过研究嘈杂标注的误差建模，提出了一种理论上的噪声模型误差估计方法，并提供了用于评估不同噪声级别的 NoisyNER 数据集，这一研究旨在探索影响噪声模型估计的因素，包括噪声分布和抽样技术。

    Jan, 2021