EMNLPOct, 2022
知识蒸馏传递集及其对下游 NLU 任务的影响
Knowledge Distillation Transfer Sets and their Impact on Downstream NLU Tasks
Charith Peris, Lizhen Tan, Thomas Gueudre, Turan Gojayev, Pan Wei...
TL;DR本文研究了采用不同数据集训练的应用领域教师和泛化语言模型辅导学生学习的关系,并发现即使存在较高噪声,使用应用领域数据进行辅导仍然比使用泛化数据表现更好。