该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

May, 2017

我们的研究探索了一种新颖的方法，将低秩适应性（LoRA）与模型蒸馏相结合，以有效地压缩扩散模型。该方法不仅减少了推理时间，还减轻了内存开销，甚至在应用蒸馏之前就显著降低了内存消耗。结果是显著减少了由蒸馏过程导致的推理时间，并且内存消耗减少了 50%。生成图像的检查强调了 LoRA 增强蒸馏与所提供提示的图像质量和对齐性一致。总之，传统的蒸馏倾向于增加内存消耗，而 LoRA 增强蒸馏则在质量方面没有任何妥协，提供了优化的解决方案。

Dec, 2023

通过融合伪标记和置信度估计技术，Robust LR 方法成功地改善了数据标签噪声和确认偏差，并在以不同级别合成噪声的 CIFAR 和真实噪声的 Mini-WebVision 和 ANIMAL-10N 三个数据集上实现了最先进的性能。

Dec, 2021

本文提出了一种鲁棒扩散分类器 (Robust Diffusion Classifier, RDC)，它是一个基于预训练扩散模型构建的生成分类器，可以更好地应对未知威胁并实现识别准确率的提高

May, 2023

本文提出了一种名为 REED 的新方法来解决卷积神经网络在存在噪声标签时训练的挑战，该方法通过无监督学习获取表示，通过分类器的半监督自训练解决噪声标签学习问题，并联合半监督重新训练表示和分类器，实现了对噪声标签的鲁棒性，大量实验结果表明，该方法在高噪声水平下可以显著击败现有的最先进方法。

Nov, 2020

本文提出一种使用 “超集学习” 框架来处理标签噪声的方法，将目标信息进行模糊化，并添加额外的备选标签，以协同改善学习器的泛化性能。实验结果表明该方法在合成和真实数据上都能有效检测和纠正错误的训练标签。

May, 2023

基于消息传递机制的图神经网络在图分类任务中取得了先进的结果，然而，在训练数据中存在噪声标签时，它们的泛化性能会下降。本文从数据隐私和模型效用的角度来衡量噪声标签对图分类的影响，发现噪声标签会降低模型的泛化性能，并增强对图数据隐私的成员推理攻击能力。因此，我们提出了一种针对有噪声标签的图分类的鲁棒图神经网络方法。该方法通过高置信度样本和每个类别的第一个特征主成分向量精确过滤噪声样本，然后利用鲁棒主成分向量和数据增强下的模型输出来指导双重空间信息引导的噪声标签校正。最后，引入监督图对比学习来增强模型的嵌入质量并保护训练图数据的隐私。通过在八个真实图分类数据集上比较十二种不同方法，验证了所提方法的效用和隐私性，与最先进的方法相比，在 30% 的噪声标签比率下，RGLC 方法分别实现了最大 7.8% 和最小 0.8% 的性能提升，并将隐私攻击的准确率降低到 60% 以下。

Jun, 2024

本文系统评估了扩散模型生成图像的现有方法，并研究了新的扩展方式以评估它们对数据增强的益处。作者发现，将扩散模型个性化到目标数据的方法优于简单的提示策略，但使用扩散模型的训练数据，通过简单的最近邻检索程序，直接提高下游性能。此项研究揭示了扩散模型在数据增强方面的局限性，同时也突显了其在生成新训练数据方面的潜力，以提高在简单的下游视觉任务中的性能。

Apr, 2023

本文介绍了一种随机标签传播算法，该算法利用超像素的谱空间约束信息对标签噪声进行清理以改善高光谱图像分类问题。实验证明，该算法在减少标签噪声以及在平均准确率、平均精确率和 Kappa 系数上具有显著优势。

Sep, 2018

通过自我监督学习建模样本之间的关系，并采用知识蒸馏的方法增强对潜在关联的理解，从而缓解模糊标签的影响，该研究提出了一个处理噪声标签的关系建模和蒸馏框架，该框架能够学习具有噪声的数据的判别性表示，并取得比现有方法更优越的性能。

May, 2024