使用噪声稳定正则化微调预训练语言模型

Jun, 2022

使用噪声稳定正则化微调预训练语言模型

Fine-tuning Pre-trained Language Models with Noise Stability Regularization

Hang Hua, Xingjian Li, Dejing Dou, Cheng-Zhong Xu, Jiebo Luo

TL;DR本文提出了一种名为 LNSR 的 fine-tuning 框架，通过注入高斯噪声或浸入式噪声，对 fine-tuned 模型的隐藏表示进行规范化，以解决预训练语言模型的过拟合问题，并证明其在 question answering task 方面具有优越性。

Abstract

The advent of large-scale pre-trained language models has contributed greatly to the recent progress in natural language processing. Many state-of-the-art language models are first trained on a large text corpus and then fine-tuned on downstream tasks. Despite its recent success and wi

pre-trained language models fine-tuning noise regularization generalizability question answering

发现论文，激发创造

噪声稳定正则化提高 BERT 微调

本文提出了一种新颖有效的正则化方法，称为分层噪声稳定性正则化 (LNSR)，其可改善在自然语言处理任务中的 fine-tuning。通过实验证明，使用 LNSR 的 fine-tuning 展现出明显的泛化和稳定性优势，并且我们的方法也显示出优于其他现有算法的优势。

Jul, 2021

SMART: 面向预训练自然语言模型的强健高效微调技术

本文提出一种基于 Bregman 的 Trust-Region 优化的平滑正则化框架，用于更加有效地对预训练语言模型进行微调，避免过拟合和知识遗忘，通过实验表明在多项 NLP benchmarks 上达到了最新的性能水平。

Nov, 2019

通过外部引导对预训练语言模型进行噪声抗干扰微调

使用嘈杂标签，通过引导大型语言模型来提高预训练语言模型（PLM）的微调过程，以区分干净样本和嘈杂样本，并提供嘈杂标签之外的辅助信息，从而增强学习过程。

Nov, 2023

使用弱监督微调预训练语言模型：一种对比正则自训练方法

该研究通过开发一种对比自训练框架 (COSINE) 来解决使用弱监督 fine-tune 预训练语言模型 (LMs) 时的过拟合问题，实验证明该方法在自然语言处理的多个任务中表现优异。

Oct, 2020

神经网络微调的改进正则化和鲁棒性

通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

Nov, 2021

通过降低表示坍塌改善微调

本论文提出了基于信任区域理论的简化和高效的 fine-tuning 方法，用参数化噪音代替了以前使用的对抗目标，从而在不损害性能的情况下尽可能地减少表示更改。针对 fine-tuning 时的表示崩溃问题，我们还引入了一种新的分析方法。实验证明，我们的 fine-tuning 方法在多种任务上效果优秀且速度更快，在表示的泛化性方面也更稳定。

Aug, 2020

SymNoise：使用对称噪声提升语言模型微调技术

该研究介绍了一种新颖的语言模型微调技术，通过在嵌入过程中引入对称噪声，以更严格地调节局部曲率，提升模型的性能。通过使用对称噪声嵌入，该方法在 Alpaca 数据集上将 LLaMA-2-7B 模型的得分从 29.79% 显著提高到 69.04%，相比 NEFTune 方法（64.69%），有了 6.7% 的改进。此外，SymNoise 方法在多个模型和更强基线指令数据集上的表现均优于 NEFTune。该研究还强调了基于噪声策略进行语言模型微调的更深入研究的重要性。SymNoise 方法是朝着这个方向迈出的又一重要步骤，并且相对于现有的最先进方法有显著的改进。

Dec, 2023

为生物医学自然语言处理调整大型神经语言模型

本文系统研究了微生物 NLP 中 fine-tuning 的稳定性，提出了一系列技术来解决这个问题，并通过领域特定词汇和预训练来建立更健壮的模型。

Dec, 2021

NoisyTune：加入少量噪声能更好地微调预训练语言模型

该研究旨在提出一种简单而有效的方法名为 NoisyTune，通过在微调之前为 PLMs 的参数添加一些噪声来帮助更好地微调 PLMs，在 GLUE 英语基准和 XTREME 多语言基准上进行的广泛实验表明 NoisyTune 可以持续增强不同 PLMs 在不同下游任务的微调。

Feb, 2022

神经机器翻译微调的正则化技术

本研究探讨了神经机器翻译的监督域自适应技术，针对现有模型在大型非领域数据集训练后，如何适应小型领域数据集所出现的过拟合问题。在整个过程中，正则化技术，如 dropout 和 L2 正则化与非领域先验之间的关系得到了深入研究。此外，文章提出了一种新型的正则化技术 ——tuneout，即启发式 dropout。我们将这些技术单独或结合应用于神经机器翻译，以英语 -> 德语、英语 -> 俄语的 IWSLT 数据集为例取得了改进。此外，我们还研究了 NMT 领域中所需的领域内训练数据量，并发现培训数据与 BLEU 分数之间存在对数关系。

Jul, 2017