本文介绍了一种使用大型包含嘈杂注释图像和少量清洁注释图像联合进行学习的方法，它由一个多任务网络组成，可以在清洁注释的帮助下减少大型数据集中的噪音，并在清洁数据集和带有降噪的完整数据集上进行微调学习，其结果比直接微调方法在Open Image数据集中的所有主要类别中均表现优异，特别适用于具有20-80％注释噪音的大量类别。

Jan, 2017

本文研究了深度学习中预训练对模型鲁棒性和不确定性预测的影响，并通过对对抗性环境、标签结构、类分布、数据分布等进行大量实验，展示了其中很大的性能提升。同时，提出了对抗性预训练方法，实现了不错的性能提升。

Jan, 2019

本文综述了深度学习中标签噪声的学习问题，提供了62种最新的鲁棒训练方法，并系统性比较了六个评估指标。同时，分析了噪声估计率和评估方法，并提出了未来的几个研究方向。

Jul, 2020

提出一种基于概率模型的方法来对大规模图像分类数据集中的标签噪声进行建模并进行准确性优化，该方法通过在神经网络分类器的最终隐藏层上放置多变量正态分布的潜在变量来建立噪声的协方差矩阵，并且在多个基准测试数据集上表现出显著提高的准确性。

May, 2021

提出一种能够有效提高 SOTA noisy-label learning 方法性能的新噪声标签学习图模型，该模型能够准确估计噪声率并用于训练过程的样本选择阶段。

May, 2023

预训练对深度学习中的模型性能具有广泛应用，我们的工作旨在理解该训练策略对下游模型的泛化特性的影响。我们发现，影响下游有效鲁棒性的主要因素是数据数量，而其他因素的影响有限。

Jul, 2023

通过大规模数据集的预训练和下游任务的微调已经成为深度学习中的标准实践。然而，预训练数据通常包含可能对模型的泛化产生不利影响的标签噪声。本文旨在理解预训练数据中噪声的特性，并减轻其对下游任务的影响。我们通过对合成噪声的ImageNet-1K和YFCC15M数据集进行有监督预训练模型的大量实验，证明了轻微噪声预训练可以在域内传输性能上有益，但总是会对域外性能造成恶化。我们通过实证验证了噪声对预训练的特征空间造成不同的影响。然后，我们提出了一种轻量级的黑盒调节方法（NMTune），来对齐特征空间，减轻噪声的恶性效应，并改善在域内和域外任务上的泛化能力，考虑到可能无法完全微调甚至访问预训练模型。我们对经过噪声数据预训练的热门视觉和语言模型进行了实证实验以评估我们的方法。我们的分析和结果显示出这个有趣而新颖的研究方向的重要性，我们称之为噪声模型学习。

Sep, 2023

在这项研究中，我们的目标是找到一种适用于带有噪声标签数据集的预训练模型微调的合适方法。通过经验分析，我们引入了一种名为TURN的新算法，其能够稳健且高效地传递预训练模型的先验知识。该算法包括两个主要步骤：（1）独立调整线性分类器来保护特征提取器免受噪声标签的扭曲影响，以及（2）减少噪声标签比例并基于降噪后的数据集对整个模型进行微调以适应目标数据集。与先前方法相比，该算法在各种基准测试中广泛测试，表现出高效且改进的降噪性能。

Oct, 2023

本研究解决了大规模预训练模型在微调后对分布外样本鲁棒性不足的问题。提出了一个新的鲁棒微调基准ImageNet-RIB，通过在多个相关但不同的专门任务上评估模型鲁棒性。研究发现，尽管微调通常会降低模型的泛化性能，但使用EWC和LwF等持续学习方法时，鲁棒性仍可以维持，从而为更有效的微调策略提供了重要的见解。

Oct, 2024

本研究探讨了带有标签噪声的预训练模型对随机梯度下降(SGD)动态的影响，解决了深度模型在学习复杂特征时的能力不足问题。研究结果表明，预训练可以在存在噪声的情况下促进学习复杂函数和多样特征，从而提升模型的表现。通过实验证明，预训练能够帮助梯度下降找到替代最小值，使得模型学习更复杂的特征而不影响性能。

Nov, 2024