Feb, 2023
自监督预训练模型结构化剪枝的语音识别与理解
Structured Pruning of Self-Supervised Pre-trained Models for Speech Recognition and Understanding
Yifan Peng, Kwangyoun Kim, Felix Wu, Prashant Sridhar, Shinji Watanabe
TL;DR该研究提出三种任务特定的结构化剪枝方法,以减少自我监督语音表示学习和前端网络的计算成本,同时保持模型准确性并提高计算效率。在实验中,该方法在减少 40% 到 50% 的计算成本的情况下,比原始 wav2vec2-base 模型更准确的表现出更高的计算效率。