Sep, 2023

理解和降低预训练中的标签噪声对下游任务的影响

PDF
TL;DR通过大规模数据集的预训练和下游任务的微调已经成为深度学习中的标准实践。然而，预训练数据通常包含可能对模型的泛化产生不利影响的标签噪声。本文旨在理解预训练数据中噪声的特性，并减轻其对下游任务的影响。我们通过对合成噪声的 ImageNet-1K 和 YFCC15M 数据集进行有监督预训练模型的大量实验，证明了轻微噪声预训练可以在域内传输性能上有益，但总是会对域外性能造成恶化。我们通过实证验证了噪声对预训练的特征空间造成不同的影响。然后，我们提出了一种轻量级的黑盒调节方法（NMTune），来对齐特征空间，减轻噪声的恶性效应，并改善在域内和域外任务上的泛化能力，考虑到可能无法完全微调甚至访问预训练模型。我们对经过噪声数据预训练的热门视觉和语言模型进行了实证实验以评估我们的方法。我们的分析和结果显示出这个有趣而新颖的研究方向的重要性，我们称之为噪声模型学习。
pre-traininglabel noisedownstream tasksnoise mitigationgeneralization
发现论文，激发创造
  • 学习带有噪音基础模型

    该论文通过广泛的实验证明，虽然在预训练中存在一定的噪声可以提高域内性能，但它总是破坏域外性能，然后提出了一种调整方法来减轻噪声的不良影响并提高泛化能力。

    Mar, 2024

  • 对预训练模型进行微调以提高在有噪标签下的稳健性

    在这项研究中，我们的目标是找到一种适用于带有噪声标签数据集的预训练模型微调的合适方法。通过经验分析，我们引入了一种名为 TURN 的新算法，其能够稳健且高效地传递预训练模型的先验知识。该算法包括两个主要步骤：（1）独立调整线性分类器来保护特征提取器免受噪声标签的扭曲影响，以及（2）减少噪声标签比例并基于降噪后的数据集对整个模型进行微调以适应目标数据集。与先前方法相比，该算法在各种基准测试中广泛测试，表现出高效且改进的降噪性能。

    Oct, 2023

  • 重新思考有监督的预训练，以实现更好的下游转移

    该论文提出了一种名为 LOOK 的基于留一法 K 最近邻（Leave-One-Out K-Nearest-Neighbor）的监督预训练方法，它通过让每个图像只与其 k 个最近邻居共享其类标签，从而允许每个类展现出多模式分布，从而更好地转移至下游任务，并在多个下游任务上的实验研究表明，LOOK 优于其他监督和自监督预训练方法。

    Oct, 2021

  • 关于预训练数据多样性与微调鲁棒性的关联

    预训练对深度学习中的模型性能具有广泛应用，我们的工作旨在理解该训练策略对下游模型的泛化特性的影响。我们发现，影响下游有效鲁棒性的主要因素是数据数量，而其他因素的影响有限。

    Jul, 2023

  • 预训练网络能否检测到熟悉的非分布数据？

    揭示预训练模型在预训练算法视角下，外分布数据对外分布检测性能的影响，并提出利用实例间鉴别性特征空间独立于 ID 决策边界的方法解决预训练模型的脆弱性。

    Oct, 2023

  • 利用预训练语言模型检测标签错误

    该研究表明，大型预训练语言模型本质上具有高度识别自然语言数据集中标签错误的能力：仅通过按微调任务损失的降序检查样本数据点，可显著优于先前工作中提出的更复杂的错误检测机制。此外，研究对引入 SNLI 和 TweetNLP 等现有众包数据集中真实的、人工标记噪声提出了一种新方法，证明该噪声具有类似于真实手动验标错误的属性，并且比现有的合成噪声更难以检测，因此将人工起源噪声作为评估标准更好。最后，使用众包验证评估在 IMDB、Amazon 评论和 Recon 中实际错误的检测，并确认预训练模型的绝对精度召回曲线下面积比现有模型高 9-36%。

    May, 2022

  • 面向任务的预训练，提升对含噪标签的学习：非洲语言文本分类探究

    本文主要研究了如何应对在低资源语言中的文本分类中存在的标注噪声问题，并提出了一些噪声处理技术和使用任务自适应的预训练技术来解决这个问题。

    Jun, 2022

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • 神经机器翻译的合成预训练任务

    本研究旨在探讨何种情况下用合成资源进行预训练是有效的。我们将神经机器翻译作为情景背景，研究使用两种新方法进行翻译模型预训练的影响，并在多种语言对上进行实证评估，结果表明预训练的好处即使在混淆或纯合成数据的情况下也可以实现，并研究混淆和合成预训练技术能够减轻虚假模型毒性的程度。

    Dec, 2022

  • 探索随机平滑的可转移性

    我们提出了一种用于预训练可认证的强健模型的方法，通过显著扩展预训练数据分布，在下游任务的微调中取得显著效益。我们通过对混合干净图像和各种噪声图像进行预训练，发现即使仅在干净图像上进行微调，也能取得惊人的认证准确率。此外，我们的方法仅需一个模型，即可处理各种噪声水平，大大降低了与以往使用多个模型的方法相比的计算成本。尽管仅使用一个模型，我们的方法仍可以得出与现有的多模型方法相当甚至更好的结果。

    Dec, 2023