使用嘈杂标签，通过引导大型语言模型来提高预训练语言模型（PLM）的微调过程，以区分干净样本和嘈杂样本，并提供嘈杂标签之外的辅助信息，从而增强学习过程。

Nov, 2023

本文提出了一种嘈杂训练机制 PAT（根据敏感性的扰动），通过让一些不敏感的参数添加嘈杂值，以激活他们的下游任务贡献，从而提高预训练语言模型（PLMs）的微调性能，并在 GLUE 基准测试中进行了广泛的实验，证明了该方法的有效性。

Oct, 2022

本文提出了一种称为 Match-Tuning 的简单且有效的微调方法，通过匹配不同批次中的实例的其他实例来增强预训练语言模型的鲁棒性，实验证明这种方法在各种任务中均优于传统的微调方法，并且对抗攻击和数据不平衡具有显著的鲁棒性。

May, 2022

该论文通过广泛的实验证明，虽然在预训练中存在一定的噪声可以提高域内性能，但它总是破坏域外性能，然后提出了一种调整方法来减轻噪声的不良影响并提高泛化能力。

Mar, 2024

本文提出了一种名为 LNSR 的 fine-tuning 框架，通过注入高斯噪声或浸入式噪声，对 fine-tuned 模型的隐藏表示进行规范化，以解决预训练语言模型的过拟合问题，并证明其在 question answering task 方面具有优越性。

Jun, 2022

该研究介绍了一种新颖的语言模型微调技术，通过在嵌入过程中引入对称噪声，以更严格地调节局部曲率，提升模型的性能。通过使用对称噪声嵌入，该方法在 Alpaca 数据集上将 LLaMA-2-7B 模型的得分从 29.79% 显著提高到 69.04%，相比 NEFTune 方法（64.69%），有了 6.7% 的改进。此外，SymNoise 方法在多个模型和更强基线指令数据集上的表现均优于 NEFTune。该研究还强调了基于噪声策略进行语言模型微调的更深入研究的重要性。SymNoise 方法是朝着这个方向迈出的又一重要步骤，并且相对于现有的最先进方法有显著的改进。

Dec, 2023

使用简单的增强方法 NEFTune，对语言模型进行细调可以显著提高性能，在 AlpacaEval 测试中，LLaMA-2-7B 的标准细调结果为 29.79%，而使用带有噪声的嵌入向量增强后提高至 64.69%。NEFTune 还在现代指令数据集上改进了强基准模型，在 Evol-Instruct 数据集上提高了 10%，在 ShareGPT 上提高了 8%，在 OpenPlatypus 上也提高了 8%。对于使用 RLHF 进一步优化的强大模型（如 LLaMA-2-Chat），通过 NEFTune 进行额外训练也带来了益处。

Oct, 2023

通过大规模数据集的预训练和下游任务的微调已经成为深度学习中的标准实践。然而，预训练数据通常包含可能对模型的泛化产生不利影响的标签噪声。本文旨在理解预训练数据中噪声的特性，并减轻其对下游任务的影响。我们通过对合成噪声的 ImageNet-1K 和 YFCC15M 数据集进行有监督预训练模型的大量实验，证明了轻微噪声预训练可以在域内传输性能上有益，但总是会对域外性能造成恶化。我们通过实证验证了噪声对预训练的特征空间造成不同的影响。然后，我们提出了一种轻量级的黑盒调节方法（NMTune），来对齐特征空间，减轻噪声的恶性效应，并改善在域内和域外任务上的泛化能力，考虑到可能无法完全微调甚至访问预训练模型。我们对经过噪声数据预训练的热门视觉和语言模型进行了实证实验以评估我们的方法。我们的分析和结果显示出这个有趣而新颖的研究方向的重要性，我们称之为噪声模型学习。

Sep, 2023

基于注意力引导的权重混合和双层优化框架，我们提出了一种用于预训练语言模型的微调方法，以解决在低资源数据集上微调模型时的不稳定性和过拟合问题，在广泛的实验中验证了该方法的有效性和优越性。

Mar, 2024

在这项研究中，我们的目标是找到一种适用于带有噪声标签数据集的预训练模型微调的合适方法。通过经验分析，我们引入了一种名为 TURN 的新算法，其能够稳健且高效地传递预训练模型的先验知识。该算法包括两个主要步骤：（1）独立调整线性分类器来保护特征提取器免受噪声标签的扭曲影响，以及（2）减少噪声标签比例并基于降噪后的数据集对整个模型进行微调以适应目标数据集。与先前方法相比，该算法在各种基准测试中广泛测试，表现出高效且改进的降噪性能。

Oct, 2023