EMNLPSep, 2021
如何从中选择一个?一项广泛的实证研究,探讨知识蒸馏在自然语言理解中的鲁棒性
How to Select One Among All? An Extensive Empirical Study Towards the Robustness of Knowledge Distillation in Natural Language Understanding
Tianda Li, Ahmad Rashid, Aref Jafari, Pranav Sharma, Ali Ghodsi...
TL;DR本研究评估了各种知识蒸馏算法在域内、域外和对抗测试上的表现,并提出了一种评估多个 KD 算法对抗鲁棒性的框架,介绍了一种新的 KD 算法 Combined-KD,并证明了其在 GLUE 基准、域外泛化和对抗鲁棒性方面优于竞争方法,该方法结合了更好的训练方案和更有效的数据增强方法。