Apr, 2024

使用模糊任务边界和有噪标签的数据流抽样

PDF
TL;DR在连续学习的领域中，数据流中存在的噪声标签是模型可靠性和公平性的显著障碍。我们提出了一种名为噪声测试去偏置（NTD）的新颖直观的采样方法，以减轻演变数据流中的噪声标签，并建立公平且稳健的连续学习算法。与之前的方法相比，NTD 在维持或超过准确性水平的同时，训练速度提高了两倍以上，并且与之前的方法相比，NTD 使用的 GPU 内存资源少于五分之一。
continual learningnoisy labelsdata streamsntdfairness
发现论文，激发创造
  • 在线污染数据流模糊任务边界下的连续学习

    本文提出了一种在在线学习任务中应对标签噪声和模糊数据流的方法，该方法使用标签噪声感知的多样化采样和半监督学习技术来平衡示例中的多样性和纯度，实验证明该方法显著优于现有的方法。

    Mar, 2022

  • 通过双流样本蒸馏实现鲁棒性噪声标签学习

    通过设计名为 Two-Stream Sample Distillation（TSSD）的简单而有效的样本选择框架，来提取更多高质量具有干净标签的样本，改进网络训练的鲁棒性。实验证明，我们的方法在四个基准数据集上取得了与竞争对手相比的最先进结果。

    Apr, 2024

  • CNLL：一种半监督的持续学习噪声标签方法

    本文旨在解决在线学习时遭遇的标签噪声问题，提出了一种简单有效、代价低廉的在线数据流净化技术，并通过半监督的微调方法使算法真正参与所有可用的样本，从而取得了在 MNIST、CIFAR10 和 CIFAR100 数据集上的 SOTA 性能。

    Apr, 2022

  • 标签噪声下的高效学习：噪声并发训练

    该论文提出通过使用两个 CNN 模型互相学习的 Noisy Concurrent Training 方法，以在标签噪音的情况下避免模型记忆随机标签并提高泛化性能，并运用目标可变性技术进行正则化。在仿真和真实世界的嘈杂数据集上展示了该方法的有效性。

    Sep, 2020

  • 利用带噪标签训练的深度神经网络及其应用

    本文针对网络训练时噪声标签的问题，提出了一种基于交叉验证和合作训练策略的解决方法，成功提高了深度神经网络在合成和实际噪音数据集下的泛化性能。

    May, 2019

  • 基于噪声率估计的样本选择噪声标签学习

    提出一种能够有效提高 SOTA noisy-label learning 方法性能的新噪声标签学习图模型，该模型能够准确估计噪声率并用于训练过程的样本选择阶段。

    May, 2023

  • 针对长尾半监督学习的不确定性感知采样

    基于不确定性感知的动态阈值选择 (UDTS) 方法解决了半监督学习中类别不平衡的问题，通过引入模型预测的不确定性来调整伪标签选择阈值，提高了模型在长尾类别上的准确性。

    Jan, 2024

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • SoTTA：嘈杂数据流上的鲁棒测试时适应

    通过高置信度统一类别采样实现输入层面的健壮性和通过熵 - 锐度最小化提高模型参数对噪声样本大梯度的健壮性，我们提出了一种对噪声样本具有鲁棒性的新颖的测试时适应性算法（SoTTA），在各种噪声场景下，我们的方法优于基准测试时适应性方法，并在没有噪声样本的情况下达到可比较的准确度。

    Oct, 2023

  • Tripartite: 使用更精细的划分解决嘈杂标签问题

    本文提出了一个名为 Tripartite 的解决方案，用于从大规模数据集中更精确地分离出硬标签、噪声标签和清洁标签，并采用低权重学习和自监督学习两种方式来最小化噪声标签的危害并最大化其数据价值，实验证明 Tripartite 能更精确地过滤噪声标签数据，并在五个基准数据集上优于大多数现有方法，尤其是在现实世界中的数据集上。

    Feb, 2022