Jun, 2023

基于基础模型和最优输运技术的语音翻译:UPC 参加 IWSLT23 比赛

TL;DR本文介绍了 UPC 语音翻译小组提交给 IWSLT 2023 离线语音翻译任务的成果。他们使用了基于 wav2vec2.0 和 mBART50 的基础模型, 通过 CTC 和最优传输的同时式预训练步骤,将语音编码器和文本编码器适应到一个空间中,从而最大限度地提高了机器翻译的传输学习。对于现有的 ST 语料库,他们还使用了 SegAugment 创建合成数据以更好地适应 IWSLT 测试集的自定义分割。最终,他们的最佳模型在 MuST-C tst-COMMON、IWLST.tst2020 和新发布的 IWSLT.ACLdev2023 上获得了 31.2、29.8 和 33.4 BLEU 分数。