May, 2023
ComSL:面向端到端语音转文本的复合语音语言模型
ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation
Chenyang Le, Yao Qian, Long Zhou, Shujie Liu, Michael Zeng...
TL;DR通过 ComSL 模型的建立,我们将跨模态学习和迁移学习相结合,在多任务学习的框架下进行,有效地实现了端到端的语音转文本翻译任务。在 21 种语言的 CoVoST2 公共数据集的评估中,我们的方法在多语言语音到英文文本翻译任务中实现了新的最高 BLEU 评分平均值 31.5。