Mar, 2024

多阶段多模态预训练自动语音识别

TL;DR多模态预训练可以提高自动语音识别性能,尤其是结合多任务无监督预训练和基于翻译的有监督中间训练方法可以实现显著的字错误率改善。