本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

Mar, 2020

该篇论文研究了初始化在低秩适应（LoRA）中的作用，结果显示将 B 初始化为零且将 A 初始化为随机可以比其他方案获得更好的性能。

Jun, 2024

本文研究表明，用预先训练的大规模数据集上的模型进行知识转移进行微调，可以帮助构建在小规模数据集上有效的模型。通过针对最后一个线性层重新训练的转移学习的最新对抗性攻击可以成功欺骗通过端到端微调进行转移学习的模型，这引起了许多工业应用的安全问题。相比之下，没有转移训练的随机初始化的模型通常表现出更强的鲁棒性，虽然这些模型的准确性往往较低。为此，我们提出了一种称为嘈杂特征蒸馏的新的转移学习方法，可以从随机初始化的网络进行训练，同时可以达到与微调相竞争的清洁数据性能。

Feb, 2020

针对预训练语言模型的敌对性攻击，提出了一种基于信息理论的对抗性微调方法（Robust Informative Fine-Tuning），强制模型在整个微调过程中保留预训练模型所学习的特征，并在情感分析和自然语言推理等多种 NLP 任务中的各种攻击中显著优于现有技术。

Dec, 2021

我们提出了一种用于预训练可认证的强健模型的方法，通过显著扩展预训练数据分布，在下游任务的微调中取得显著效益。我们通过对混合干净图像和各种噪声图像进行预训练，发现即使仅在干净图像上进行微调，也能取得惊人的认证准确率。此外，我们的方法仅需一个模型，即可处理各种噪声水平，大大降低了与以往使用多个模型的方法相比的计算成本。尽管仅使用一个模型，我们的方法仍可以得出与现有的多模型方法相当甚至更好的结果。

Dec, 2023

本文提出了一种简单而有效的适配器方法来提高预训练模型在下游任务的稳定性和抗攻击性。该方法为预训练模型的每层插入小型的瓶颈层，然后在下游任务数据上固定预训练层并训练适配器层，通过在任务特定的无监督训练和监督训练 (e.g., 分类、序列标注) 的过程中，提高了转移学习的性能。

Aug, 2021

RoAST 是一种简单而有效的微调技术，通过在微调期间引入对抗性扰动，并且在相对重要性上选择性地更新模型参数，以提升语言模型的多角度鲁棒性。通过统一评估微调的语言模型在四个代表性的鲁棒性角度下，我们证明了 RoAST 相对于最先进的微调方法在六种不同类型的语言模型上的有效性，表明其在实践中的有用性。

Dec, 2023

使用知识转移方法，将较小模型的鲁棒性迁移到大规模网络中，提高大规模模型的性能和鲁棒性。

Sep, 2023

本研究通过优化对抗训练过程，发现在早期训练阶段（通常为 0.15~0.3 个时期），连通性模式可以提高预训练语言模型（PLMs）的鲁棒性。基于此发现，作者提出了一种高效的对抗训练方法，利用稀疏结构在早期阶段寻找强韧的 “早期票”。实验结果表明，该方法可以在保持鲁棒性水平不变的情况下，实现 7~13 倍的训练加速。

Nov, 2022

本文研究表明，ImageNet 预训练模型虽然在泛化方面作出了贡献，但同时也将非健壮性特性从预训练模型转移到了下游分类任务中的微调模型，本文介绍了其原因并提出了一种简单的健壮性 ImageNet 预训练解决方案。

Jun, 2021