Nov, 2020
RNN-Transducer 模型的高效知识蒸馏
Efficient Knowledge Distillation for RNN-Transducer Models
Sankaran Panchapagesan, Daniel S. Park, Chung-Cheng Chiu, Yuan Shangguan, Qiao Liang...
TL;DR本文提出了一种针对 RNN-Transducer 模型的知识蒸馏方法,通过对模型剪枝的过程结合知识蒸馏,实现了对小型模型精度的提高。 实验结果表明,通过此方法可以在多种数据集上获得较好的性能提升。