Verifix: 通过验证样本改善标签噪声鲁棒性的后训练纠正

Mar, 2024

Verifix: 通过验证样本改善标签噪声鲁棒性的后训练纠正

Verifix: Post-Training Correction to Improve Label Noise Robustness with Verified Samples

Sangamesh Kodge, Deepak Ravikumar, Gobinda Saha, Kaushik Roy

TL;DR提出后训练校正新范式以解决标签污染问题，引入基于奇异值分解（Singular Value Decomposition，SVD）的 Verifix 算法以消除机器学习模型中的错误标签，并通过投影模型权重到清洁激活空间来抑制对应于损坏数据的激活，实验证明 Verifix 在合成和真实数据集上都能有效提升泛化性能。

Abstract

label corruption, where training samples have incorrect labels, can significantly degrade the performance of machine learning models. This corruption often arises from non-expert labeling or adversarial attacks.

label corruption machine learning models post-training correction verifix singular value decomposition

发现论文，激发创造

使用可信数据训练深度网络处理被严重噪声污染的标签

本文提出了一种在深度神经网络分类器中使用有信任子集数据以及基于损失修正技术的方法，大大提高了分类器对标签噪声的鲁棒性。实验结果表明，该方法在视觉和自然语言处理任务中均取得了较好的性能表现。

Feb, 2018

不经过模型训练，检测数据标签是否已损坏

提出了一种从更加数据中心的视角出发的培训自由的解决方法，以检测标签上的错误。通过邻域信息，提出了基于本地投票和基于排名的方法，从而在合成和实际噪声标签上进行实验证明了该方法的可行性和有效性。

Oct, 2021

元学习软标签校正器学习去噪标签

本文提出了一种基于元学习方法的元 - 梯度下降模型，可自适应地根据当前的训练问题迭代地获取校正后的软标签，无需手动预设超参数，从而解决了深度神经网络容易过度拟合含有噪声标签的训练数据的问题。

Aug, 2020

MixTrain: 可验证鲁棒神经网络的可扩展训练

通过提出一种名为 MixTrain 的新技术，本文旨在大大提高以往可检验证训练的效率，并维持高标准的可靠性，实现了在少量训练时间内，其鲁棒性达到 95.2％，相较于现有的可检验证训练方法快 3 倍，而相对于对抗性训练快 15 倍，并且具有较好的扩展性。

Nov, 2018

通过过度参数化实现标签噪音下的稳健训练

为解决对于干扰数据的过度拟合而影响泛化效果，我们提出了一种基于稀疏过参数化和隐式正则化的优化方案，通过对标签噪声进行建模和分离，实现了对于训练数据中的噪声数据清洗，最终获得了在多个真实数据集上较先进的测试结果，同时为优化过度参数化模型开辟了许多有趣的方向。

Feb, 2022

使用学习的验证器训练已验证的学习者

本文提出了一种新的算法框架，predictor-verifier training，用于训练可验证的神经网络，同时训练两个网络：一个预测网络和一个验证网络以达到最大化输出准确性并满足输入输出特定属性的目标。实验表明，predictor-verifier 架构能够训练出鲁棒性强的神经网络并且训练时间显著减短，在像 MNIST 和 SVHN 这样的小数据集上优于以前的算法，同时能够扩展到 CIFAR-10 并产生首个已知的可验证鲁棒网络。

May, 2018

从严重标签噪声中提炼有效的监督

该论文提出了一种全新的训练深度神经网络的方法，在标签噪音的情况下拥有高稳健性，通过利用小的可信集合来估计样本权重和伪标签以重复使用它们进行监督训练。该方法在各种类型的标签噪声和大规模真实世界标签噪声数据集上取得了最新的最优表现。

Oct, 2019

探讨视觉变换器在医学图像分类中对标签噪声的稳健性

医学图像分类数据集中的标签噪声严重影响了受监督深度学习方法的训练，削弱了其泛化能力。本文研究了 Vision Transformer (ViT) 相对于 CNN 的鲁棒性，以及其处理医学图像分类中标签噪声的能力，并使用两个医学图像分类数据集进行了实验验证。

Feb, 2024

模型鲁棒性的奇异值视角

本文研究探讨卷积神经网络在人工智能领域的应用，并且探讨该类网络存在的问题和局限性，提出使用奇异值分解方法可以分析卷积神经网络中涉及到的非人类因素，从而对其产生作用的原因展开研究。同时提出了一种新的特征分配方法，建立了卷积神经网络的理论框架。

Dec, 2020

推广线性模型的耐腐败算法

该论文提出了 SVAM（顺序变异 MLE），这是一个统一的框架，用于在受到训练数据中对手标签污染的情况下学习广义线性模型。SVAM 扩展到最小二乘回归、逻辑回归和伽马回归等任务，具有独立于广义线性模型目标的新颖方差缩减技术，通过迭代求解加权 MLEs，其中重点关注被调整方差版本的 GLM 目标。SVAM 最显著的是在训练标签遭到定向污染的情况下提供可证明的模型恢复保证，优于最新技术的鲁棒回归。SVAM 也在鲁棒回归和分类的几种现有的问题特定技术方面表现出了优异的性能。

Dec, 2022