Oct, 2023
交流式通信:通过提炼预训练知识向下游模型传递
Talking Models: Distill Pre-trained Knowledge to Downstream Models via Interactive Communication
Zhe Zhao, Qingyun Liu, Huan Gui, Bang An, Lichan Hong...
TL;DR通过交互式通信过程扩展了知识蒸馏技术,帮助下游任务的学生有效地从预训练的基础模型中学习,并在基准数据集上进行实验证明我们的通信机制优于最先进的蒸馏技术。