IJCAIMay, 2022
强制提示下的无数据知识蒸馏提升
Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt
Xinyin Ma, Xinchao Wang, Gongfan Fang, Yongliang Shen, Weiming Lu
TL;DR该研究提出 PromptDFD,一种基于提示的数据无关知识蒸馏法,利用一个预训练的生成模型提供语言先验知识,进一步提高数据合成的质量,并在蒸馏性能上取得了显著的改进。