带有噪声标签的高维度学习

May, 2024

High-dimensional Learning with Noisy Labels

Aymane El Firdoussi, Mohamed El Amine Seddik

TL;DR该研究论文探讨了高维二分类在具有条件性噪声标签的情况下的理论视角。通过研究具有标签噪声感知损失函数的线性分类器在维度 p 和样本数 n 都很大且可比时的行为，利用随机矩阵理论和高斯混合数据模型，证明了当 p 和 n 趋近于无穷时，线性分类器的性能收敛至涉及数据的标量统计量的一个界限。重要的是，我们的发现表明低维处理标签噪声的直觉在高维中不成立，即低维中的最优分类器在高维中出现显著失败。基于我们的推导，我们设计了一种优化方法，经证明在处理高维噪声标签方面更加高效。我们的理论结论在真实数据集上的实验证实了我们的优化方法优于考虑的基准方法。

Abstract

This paper provides theoretical insights into high-dimensional binary classification with class-conditional noisy labels. Specifically, we study the behavior of a linear classifier with a label noisiness aware loss function, when both the dimension of data $p$ and the sample size $n$ a

high-dimensional binary classification label noisiness aware loss function random matrix theory high-dimensional label noise optimized approach

发现论文，激发创造

鲁棒在线分类：从估计到去噪

在存在噪音标签的情况下，我们研究了在线分类问题。通过一般的核来建模噪音机制，为任何特征 - 标签对指定了一个（已知）噪音标签分布集合。每个时间步骤，对手根据实际的特征 - 标签对从核指定的分布集合中选择一个未知分布，并根据所选分布生成噪音标签。学习者根据迄今为止观察到的实际特征和噪音标签进行预测，如果预测与真实情况不同，则遭受损失 1（否则为 0）。预测质量通过计算有限时间视野 T 上的极小化风险来量化。我们证明了对于广泛的自然噪音核、对手选择的特征和有限类别的标记函数，极小化风险可以上界独立于时间视野并以标记函数类别尺寸的对数形式增长。然后，我们通过随机顺序覆盖的概念将这些结果推广到无限类别和随机生成的特征。我们的结果通过对在线条件分布估计的新颖归约提供了直观理解，并且扩展并包含了 Ben-David 等人（2009）的研究结果，具有显著的广泛性。

Sep, 2023

特征空间噪音分布的形状决定标签噪音的鲁棒性

本论文研究了机器学习中存在的标签噪音问题，提出了一个理论框架来模拟标签噪音分布对分类性能的影响，并发现标签噪音的分布对分类精度有很大的影响，尤其是当噪音集中在特定的特征空间时。此外，论文还探讨了一些解决噪音问题的方法，并发现存在一些困难。

Jun, 2022

基于维度驱动的标签噪声学习

本文提出了一种新的视角 —— 通过研究训练样本的深度表示子空间的维数，来理解在具有大量错误类标的数据集上训练准确的深度神经网络（DNNs）的普适性。根据这一发现，作者开发了一种新的维度驱动型学习策略，该策略在训练过程中监测子空间的维度并相应地调整损失函数，实验证明该方法可以高度容忍大量含有错误标签的数据，并能有效学习捕捉数据分布的低维局部子空间。

Jun, 2018

大规模图像分类中相关的输入相关标签噪音

提出一种基于概率模型的方法来对大规模图像分类数据集中的标签噪声进行建模并进行准确性优化，该方法通过在神经网络分类器的最终隐藏层上放置多变量正态分布的潜在变量来建立噪声的协方差矩阵，并且在多个基准测试数据集上表现出显著提高的准确性。

May, 2021

利用带噪标签训练的深度神经网络及其应用

本文针对网络训练时噪声标签的问题，提出了一种基于交叉验证和合作训练策略的解决方法，成功提高了深度神经网络在合成和实际噪音数据集下的泛化性能。

May, 2019

基于实例和标签相关的标签噪声的二分类

本文通过理论分析探讨了在样本噪声存在的情况下，仅使用噪声样本能否学习到可靠模型的问题。作者认为，没有额外假设条件的情况下，经验风险最小化可以达到最优风险上限。此外，文章还讨论了 0-1 损失的极小极大下限问题，认为纯使用噪声样本无法学习。

Jun, 2023

通过重要性加权对带噪声标签的数据进行分类

本文研究了一个分类问题，其中样本标签被随机损坏。我们解决了如何在有标签噪声的情况下最好地利用传统分类问题的丰富代理损失函数，通过重要性重新加权来使用任何代理损失函数进行带有噪声标签的分类，以及如何获得噪声率的问题。

Nov, 2014

从含有噪声的正样本和未标记的数据中估计类别先验和后验

发展一种分类算法，可从正未标记数据中估计后验分布，对正标记上的噪声具有鲁棒性，对高维数据有效。

Jun, 2016

分类中的噪音

本文探讨计算和统计方面的学习线性阈值的问题，特别是噪音的存在对该问题带来的影响及其应对方法。

Oct, 2020

噪声标签的误差有界修正

本文介绍了针对大规模标注数据不可避免存在 label noise 问题时，通过使用 noisy classifiers 算法来提高模型鲁棒性，进而讲解了该算法的理论解释，并提出了一种基于该算法的标签校正方法，结合深度神经网络，成功提升了测试性能。

Nov, 2020