Mar, 2023
实用 Conformer:优化 Conformer 的大小,速度和 FLOPs,用于设备和云 ASR
Practical Conformer: Optimizing size, speed and flops of Conformer for on-Device and cloud ASR
Rami Botros, Anmol Gulati, Tara N. Sainath, Krzysztof Choromanski, Ruoming Pang...
TL;DR本文提出了一种优化的 conformer 模型,通过替换低层 conformer 块、策略性缩小架构和利用 RNNAttention-Performer 等方式,优化内部状态数量,降低推理延迟。通过级联编码器,我们发现这些优化可以将延迟降低 6.8 倍,并保持合适的精度,可以作为独立的编码器或高性能 ASR 流水线的第一部分。