Dec, 2022
通过利用辅助语音和文本数据来改善端到端语音翻译
Improving End-to-end Speech Translation by Leveraging Auxiliary Speech
and Text Data
TL;DR本文提出了一种将文本编码器引入预训练端到端语音翻译系统的方法，该方法可以提高适应一种模态到另一种模态的能力，特别是在源语言文本数据丰富的情况下，使得语音翻译模型可以从无标签和有标签数据中学习，并且还提出了一种去噪文本编码器的方法。在MuST-C En-De、En-Fr和LibriSpeech En-Fr任务上，该系统创造了新的最新技术。