EMNLPNov, 2022
通过渐进式训练提高提示调整效率的 FPT 模型
FPT: Improving Prompt Tuning Efficiency via Progressive Training
Yufei Huang, Yujia Qin, Huadong Wang, Yichun Yin, Maosong Sun...
TL;DR本论文提出了一种名为 Fast Prompt Tuning 的技术,通过将 partial PLMs 中的 soft prompts 转化到整个 PLM 中来提高 prompt tuning(PT)的训练效率,该技术的应用可以在保持性能的同时节省 30% 的训练计算资源。