PAC 调谐：基于 PAC 驱动扰动梯度下降的细调预训练语言模型

EMNLPOct, 2023

PAC 调谐：基于 PAC 驱动扰动梯度下降的细调预训练语言模型

PAC-tuning:Fine-tuning Pretrained Language Models with PAC-driven Perturbed Gradient Descent

Guangliang Liu, Zhiyu Xue, Xitong Zhang, Kristen Marie Johnson, Rongrong Wang

TL;DRPAC-tuning 通过两个阶段的微调和噪声注入修改梯度，成功应对了微调任务的挑战，并在 5 个基准测试任务中表现优于强基准方法，从而进一步证实了在目前使用 Adam 优化器进行训练的任何其他设置中应用 PAC 训练的潜力。

Abstract

fine-tuning pretrained language models (PLMs) for downstream tasks is a large-scale optimization problem, in which the choice of the training algorithm critically determines how well the trained model can general

fine-tuning pretrained language models pac-tuning optimization algorithms generalization performance

发现论文，激发创造

Auto-tune: 基于先验和后验的 PAC-Bayes 优化神经网络

提出一种实用的 PAC-Bayes 训练框架，通过使用无需多重超参数调整的算法，结合 Stochastic Gradient Descent（SGD）或 Adam 优化算法和正则化技术等方法，实现了与常规方法相当的测试性能，同时实现了深度神经网络的鲁棒性和可解释性。

May, 2023

基于扰动和内部样本插值的鲁棒微调

本文提出了一种称为 Match-Tuning 的简单且有效的微调方法，通过匹配不同批次中的实例的其他实例来增强预训练语言模型的鲁棒性，实验证明这种方法在各种任务中均优于传统的微调方法，并且对抗攻击和数据不平衡具有显著的鲁棒性。

May, 2022

用于大型预训练语言模型参数高效微调的神经架构搜索

探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning)，并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。

May, 2023

元学习差异性：为大型语言模型准备高效迁移

该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

Jul, 2022

神经网络微调的改进正则化和鲁棒性

通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

Nov, 2021

当联邦学习遇到预训练语言模型的参数高效调整方法

本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

Dec, 2022

通过外部引导对预训练语言模型进行噪声抗干扰微调

使用嘈杂标签，通过引导大型语言模型来提高预训练语言模型（PLM）的微调过程，以区分干净样本和嘈杂样本，并提供嘈杂标签之外的辅助信息，从而增强学习过程。

Nov, 2023

面向任务引导的预训练语言模型解耦调参

该研究提出一种名为任务引导分离微调的方法，通过从预训练的语言模型中分离特定任务的信号来增强表示的泛化能力，实验结果表明，该方法在自然语言处理方面表现出更好的效果。

Mar, 2022

PATS：针对预训练语言模型的敏感度感知噪声学习

本文提出了一种嘈杂训练机制 PAT（根据敏感性的扰动），通过让一些不敏感的参数添加嘈杂值，以激活他们的下游任务贡献，从而提高预训练语言模型（PLMs）的微调性能，并在 GLUE 基准测试中进行了广泛的实验，证明了该方法的有效性。

Oct, 2022

PTP：基于扰动正则化的 Prompt Tuning 提升稳定性和性能

研究表明，在自然语言理解任务中，prompt tuning 相比下游微调能更好地利用大型语言模型的优势，但是现有的 prompt tuning 方法在训练时存在不稳定性问题。本文提出了基于扰动的正则化方法，将其应用到 prompt tuning 中，从而稳定训练并提高准确性。实验结果表明，本文提出的新方法在 SuperGLUE 和 FewGLUE 基准测试中分别比现有状态 - of-the-art 方法提高了 1.94％和 2.34％。

May, 2023