通过降低表示坍塌改善微调

Aug, 2020

Better Fine-Tuning by Reducing Representational Collapse

Armen Aghajanyan, Akshat Shrivastava, Anchit Gupta, Naman Goyal, Luke Zettlemoyer...

TL;DR本论文提出了基于信任区域理论的简化和高效的 fine-tuning 方法，用参数化噪音代替了以前使用的对抗目标，从而在不损害性能的情况下尽可能地减少表示更改。针对 fine-tuning 时的表示崩溃问题，我们还引入了一种新的分析方法。实验证明，我们的 fine-tuning 方法在多种任务上效果优秀且速度更快，在表示的泛化性方面也更稳定。

Abstract

Although widely adopted, existing approaches for fine-tuning pre-trained language models have been shown to be unstable across hyper-parameter settings, motivating recent work on trust region methods. In this pap

pre-trained language models fine-tuning trust region methods parametric noise representation collapse

发现论文，激发创造

利用表示一致性目标提高语言模型微调

本研究提出了一种新的 fine-tuning 方法，通过抑制表示中不必要的变化来避免表示坍塌，同时对此进行了度量，并在 13 个任务和低数据量及数据标签扰动的情况下得到了显著的性能提高。

May, 2022

使用噪声稳定正则化微调预训练语言模型

本文提出了一种名为 LNSR 的 fine-tuning 框架，通过注入高斯噪声或浸入式噪声，对 fine-tuned 模型的隐藏表示进行规范化，以解决预训练语言模型的过拟合问题，并证明其在 question answering task 方面具有优越性。

Jun, 2022

SMART: 面向预训练自然语言模型的强健高效微调技术

本文提出一种基于 Bregman 的 Trust-Region 优化的平滑正则化框架，用于更加有效地对预训练语言模型进行微调，避免过拟合和知识遗忘，通过实验表明在多项 NLP benchmarks 上达到了最新的性能水平。

Nov, 2019

表征加噪有效地预防语言模型的有害微调

我们提出了一种名为 Representation Noising (RepNoise) 的防御机制，它能在攻击者具有权重且防御者无法控制的情况下，有效地消除有害表示的信息，从而使恶意微调变得困难，并能在不同的有害子集上泛化，同时不降低大型语言模型的一般能力。

May, 2024

神经网络微调的改进正则化和鲁棒性

通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

Nov, 2021

TRAM：连接信任区域和锐度感知最小化

通过降低参数空间中损失曲面的曲率，锐度感知最小化（SAM）在域转换下实现了广泛的稳健性改进。本研究不关注参数，而是将表示的可转移性作为优化目标，在微调设置中进行跨域泛化的优化。我们考虑基于信任区域的微调方法，以鼓励保持可转移表示，并通过使用信任区域边界在两个优化表面上通知 SAM 风格的正则化方法来统一参数和表示空间平滑方法。我们提出了一种称为 Trust Region Aware Minimization（TRAM）的微调算法，该算法在不忘记预训练结构的情况下，优化平坦的最小值和平滑的信息表示。我们发现，TRAM 在跨领域语言建模和跨语言转移方面胜过锐度感知和基于信任区域的优化方法，在这些任务中，域转换的健壮性和表示的普适性对于成功至关重要。TRAM 为使用最少额外计算训练可推广模型确立了一个新的标准。

Oct, 2023

微调预训练模型的稳定性分析

通过理论稳定性分析和提出的新策略，解决预训练模型微调在同样设置下性能稳定性差异问题。

Jan, 2023

对预训练模型进行微调以提高在有噪标签下的稳健性

在这项研究中，我们的目标是找到一种适用于带有噪声标签数据集的预训练模型微调的合适方法。通过经验分析，我们引入了一种名为 TURN 的新算法，其能够稳健且高效地传递预训练模型的先验知识。该算法包括两个主要步骤：（1）独立调整线性分类器来保护特征提取器免受噪声标签的扭曲影响，以及（2）减少噪声标签比例并基于降噪后的数据集对整个模型进行微调以适应目标数据集。与先前方法相比，该算法在各种基准测试中广泛测试，表现出高效且改进的降噪性能。

Oct, 2023

神经机器翻译的连续学习在低遗忘风险区域内进行

本篇论文提出了一种基于局部特征训练的两阶段方法，能够实现大规模预训练神经机器翻译模型的连续学习，以适应新任务，采用这种方法能够在不访问以前的训练数据或引入模型分离的情况下解决之前方法的不足。

Nov, 2022

联合重新参数化的多层适应性用于高效和私密调整

本研究提出了一种新的语言转换微调策略，它在多个转换器层中引入了特定于任务的参数，这些参数是来自单一可训练向量的固定随机投影，使微调具有明显更少的参数，从而实现了 “低资源应用程序及带隐私约束条件训练” 条件下的有效性和性能。

May, 2023