用随机性对抗随机性：使用延迟集成和噪声插值减轻微调的优化不稳定性

Jun, 2024

用随机性对抗随机性：使用延迟集成和噪声插值减轻微调的优化不稳定性

Fighting Randomness with Randomness: Mitigating Optimisation Instability of Fine-Tuning using Delayed Ensemble and Noisy Interpolation

PDF

Branislav Pecher, Jan Cegin, Robert Belanec, Jakub Simko, Ivan Srba...

TL;DR利用集成、噪音正则化和模型插值技术，我们提出了一种名为 DENI（Delayed Ensemble with Noisy Interpolation）的新型缓解策略，它既具备高效计算的特点，又能有效克服细调整中的不稳定性问题。通过在 3 种模型、4 种调优策略和 7 个文本分类数据集上对比 DENI 与其他 9 种缓解策略，我们证明了：1）DENI 优于表现最佳的缓解策略（Ensemble），且仅使用其计算成本的一小部分；2）缓解策略对于参数高效的细调整方法（PEFT）非常有效，在某些情况下超过了完整细调整方法的性能；3）将 DENI 与数据增强相结合通常会导致更有效的稳定性缓解。

Abstract

While fine-tuning of pre-trained language models generally helps to overcome the lack of labelled training samples, it also displays model performance instability. This instability mainly originates from randomne

fine-tuning pre-trained language models instability mitigation ensemble data augmentation

发现论文，激发创造

并非所有步骤相等：高效生成与渐进传播模型

提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。

Dec, 2023

认证的 PEFTSmoothing：具有随机平滑的参数高效微调

通过使用 Parameter-Efficient Fine-Tuning（PEFT）方法，PEFTSmoothing 方法探索了一种使基础模型适应学习带有高斯噪声的数据的替代方式，证明了其在白盒和黑盒设置下的有效性和效率，可以为 CIFAR-10 上的 ViT 提供 98% 以上的准确性，比现有的去噪平滑方法高出 20%，在 ImageNet 上达到了 61% 的准确性，与基于 CNN 的去噪器相比高出 30%，与基于扩散的去噪器相媲美。

Apr, 2024

自然语言理解中的即时数据增强去噪

本文介绍了一种基于原始数据集更清洁的假设，利用有机教师模型提供的软增强标签进行学习的数据增强即时去噪方法，并应用简单的自正则化模块来防止在噪声标签上过拟合，该方法可应用于各种数据扩充技术，可以在文本分类和问答任务中提高性能。

Dec, 2022

多目标插值训练用于标签噪声鲁棒性

通过对比学习和分类联合相互帮助，以对抗标签噪声提高性能，同时提出了一种新的标签噪声检测方法，通过准确识别有争议的 per-sample soft-labels 来防止噪音记忆并改进表示学习。

Dec, 2020

DyGen: 通过动力增强生成建模从噪声标签学习

本文提出了一种利用动态模式和生成模型的方法 (DyGen)，用于在 fine-tuning 语言模型时应对带有噪声标签的问题，并显示出与现有方法比平均准确性提高了 3.10%（在两个合成噪声数据集上）和 1.48%（在三个实际噪声数据集上）的改进。

May, 2023

私有合成数据与集成学习

通过应用差分隐私机制生成多个合成数据集，并对这些数据集进行训练，我们引入了一种新的集成策略以提高下游模型在真实数据上的性能。通过增加样本多样性，我们的实验结果表明，这种集成策略改善了使用基于生成对抗网络的差分隐私机制训练模型的下游模型的准确性和校准度。

Oct, 2023

组合微调：冻结预训练去噪自编码器以提高泛化性能

探讨结构化输出的预测问题，研究在输出有效性限制约束情境下的预测，推荐使用先进行预训练再进行 fine-tuning 的方法，可以通过控制预测器的复杂性以提高其在未知数据上的表现。

Jun, 2020

通过抖动学习可证明稳健的逆问题估计器

深度神经网络在反问题如降噪方面表现出色，但对抗性或最坏情况扰动敏感，本文研究了添加正态噪声的正则化技术 jittering 是否有效于学习最坏情况下鲁棒的反问题估计器。通过对线性降噪器进行分析表明，jittering 能够产生最佳的鲁棒降噪器。此外，通过对自然图像降噪、反卷积和磁共振成像（MRI）的深度神经网络（U-nets）进行实证研究，结果显示 jittering 显著提高了最坏情况下的鲁棒性，在除降噪之外的反问题中可能存在非最优情况，同时结果暗示通过对含有轻微噪声的真实数据进行训练，也能够提升鲁棒性。

Jul, 2023

NoisyTune：加入少量噪声能更好地微调预训练语言模型

该研究旨在提出一种简单而有效的方法名为 NoisyTune，通过在微调之前为 PLMs 的参数添加一些噪声来帮助更好地微调 PLMs，在 GLUE 英语基准和 XTREME 多语言基准上进行的广泛实验表明 NoisyTune 可以持续增强不同 PLMs 在不同下游任务的微调。

Feb, 2022

图像分类的鲁棒即时数据集去噪

本文研究探讨神经网络中过拟合和标签错误对泛化能力的影响，提出了一种基于因果推理的数据去噪方法，通过模拟有误标签数据在真实数据集上的损失分布，并剔除高于该分布分位数的样本，实现在无需额外计算代价的情况下提高数据处理质量。

Mar, 2020