Mar, 2018

K-NN 和 DNN 的标签噪声抗性取决于其浓度

PDF
TL;DR本研究着重研究了 KNN 和 DNN 在存在标记噪声的情况下的分类性能，提出了逼近于 KNN 的 DNN 误差表达式，证明了 DNN 在某些类型标签噪声情况下的惊人鲁棒性，并说明了噪声越集中性能下降越明显的重要因素。
发现论文，激发创造
  • 最近邻抵抗随机噪声标签

    通过研究在随机噪声情况下的 k - 最近邻（k-NN）一致性，提出了一种鲁棒的 k-NN 方法 (RkNN)，在处理噪声标签时具有一定的纠错和分类能力。

    Jul, 2016

  • 深度 k 近邻：朝着自信、可解释和鲁棒的深度学习发展

    本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。

    Mar, 2018

  • 利用带噪标签训练的深度神经网络及其应用

    本文针对网络训练时噪声标签的问题，提出了一种基于交叉验证和合作训练策略的解决方法，成功提高了深度神经网络在合成和实际噪音数据集下的泛化性能。

    May, 2019

  • 基于不确定性的噪声图像标签检测和重新标记

    本文提出了一种基于深度神经网络的预测不确定性来识别训练数据中存在的噪声标签并通过迭代程序实现清洗的方法，该方法在 CIFAR-10 和 CIFAR-100 上有良好的性能表现。

    May, 2019

  • DNN 文本分类的有效标签噪声模型

    本文提出了一种训练深度网络抵抗标签噪声的方法，通过引入非线性处理层（噪声模型）来将标签噪声的统计模型化到卷积神经网络中，通过实验证明这种方法使得 CNN 可以学习到更好的句子表示，即使在极端的标签噪声情况下仍然很稳健。同时，本文发现正确的噪声模型初始化和正则化对训练结果至关重要，而和图像分类不同的是，改变 batch size 并不会对分类性能有明显影响。

    Mar, 2019

  • 利用最近邻居改善分类器的决策边界

    神经网络训练中，决策边界位于训练数据密度低的区域，受到少数训练样本的影响容易导致过度拟合；我们提供了一种简单的算法，通过对样本及其最近邻的预测（在潜在空间中计算）进行加权平均，以优化神经网络在标签噪声、对抗攻击、分类准确性等方面的性能。

    Oct, 2023

  • 分析标签噪声下分类器的鲁棒性

    该研究探讨了标签噪声分类器的稳健性，旨在提高模型对复杂实际场景中的噪声数据的抵抗能力，并通过整合对抗机器学习和重要性重新加权技术来解决标签噪声对实际应用的影响。

    Dec, 2023

  • 分类中的噪音标签处理：一项调查

    对于计算机视觉任务尤其是图像分类任务，本综述全面回顾了应对噪声标签的不同深度学习方法的演变，研究了不同的噪声模式，并提出了一种由现实世界数据引导的算法来生成合成标签噪声模式，以形成一个新的以真实世界数据为指导的合成基准，并在该基准上评估了一些典型的噪声鲁棒方法。

    Apr, 2024

  • 基于维度驱动的标签噪声学习

    本文提出了一种新的视角 —— 通过研究训练样本的深度表示子空间的维数，来理解在具有大量错误类标的数据集上训练准确的深度神经网络（DNNs）的普适性。根据这一发现，作者开发了一种新的维度驱动型学习策略，该策略在训练过程中监测子空间的维度并相应地调整损失函数，实验证明该方法可以高度容忍大量含有错误标签的数据，并能有效学习捕捉数据分布的低维局部子空间。

    Jun, 2018

  • 深度学习下存在噪声标签的图像分类：综述

    本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題，針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。

    Dec, 2019