Apr, 2021
语音翻译的大规模自监督和半监督学习
Large-Scale Self- and Semi-Supervised Learning for Speech Translation
TL;DR通过利用大量未标记的语音和文本数据（包括Libri-Light语音音频语料库和CommonCrawl语言建模）的预训练和自我训练，我们的实验结果表明，在不利用监督学习数据的前提下，通过wav2vec 2.0预训练、自我训练和配合语言模型的方法，能够使所有四个CoVoST 2语言对的 BLEU 平均值提高2.6。代码和模型将公开发布。