ACLMay, 2023
用于大型预训练语言模型参数高效微调的神经架构搜索
Neural Architecture Search for Parameter-Efficient Fine-tuning of Large Pre-trained Language Models
Neal Lawton, Anoop Kumar, Govind Thattai, Aram Galstyan, Greg Ver Steeg
TL;DR探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning),并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。