May, 2023
AMTSS: 自适应多教师单学生知识蒸馏框架用于多语言语言推断
AMTSS: An Adaptive Multi-Teacher Single-Student Knowledge Distillation Framework For Multilingual Language Inference
Qianglong Chen, Feng Ji, Feng-Lin Li, Guohai Xu, Ming Yan...
TL;DR提出 AMTSS,一种自适应的多教师单学生蒸馏框架,它允许从多个教师向单个学生蒸馏知识,对于开发和机器成本的大幅降低做出了贡献。在公共 XNLI 数据集和电子商务情景下的实际工业数据集 AliExpress(AE)上获得了有竞争力的结果。