KIT 的 IWSLT 2023 多语言语音翻译系统
本论文讨论了 USTC-NEL 系统在 2018 年 IWSLT 评估的语音翻译任务中的应用,使用了传统的管道系统,包含三个模块:语音识别、后处理和机器翻译。我们训练了一组混合 - HMM 模型进行语音识别,并使用语音识别输出风格的文本作为输入来训练基于 transformer 的神经机器翻译模型。在 IWSLT 2018 任务上的实验表明,相较于 KIT 的基线系统,我们的系统实现了 14.9 的 BLEU 改善。
Dec, 2018
该论文介绍了 Volctrans 团队在 IWSLT 2021 中提交的系统,包括离线语音翻译和文本 - 文本同时翻译。他们采用端到端模型进行离线语音翻译,在 MuST-C 测试集上比基准结果提高了 8.1 BLEU 分值,并接近强级联解决方案的结果。针对文本 - 文本同时翻译,他们探索了最优的 wait-k 模型实践,并且在相同的延迟范围内超过了基准结果约 7 BLEU 分值。他们已发布代码和模型以促进未来的研究工作和工业应用。
May, 2021
本文介绍了 FBK 参加 IWSLT 2020 离线语音翻译任务的方法和成果,使用基于 Transformer 模型的端到端系统,并运用了 ASR 预训练、数据增强、多任务学习等技术,最佳 BLEU 得分达到 29,优于最近相关研究。
Jun, 2020
本文介绍了我们在 IWSLT 2022 Simultaneous Speech Translation 比赛中的参赛作品,探讨了如何在不修改原始模型的情况下,在同步设置中利用离线模型的策略。在实验中,我们展示了我们的在线算法几乎与离线设置相等,而在测试集上的延迟方面比离线快 3 倍。我们还展示了在线化的离线模型在中高延迟区间比最佳 IWSLT2021 同声翻译系统表现更好,在低延迟区间则几乎持平。我们的系统已经公开发布。
Apr, 2022
本文主要研究了与语音翻译相关的模型训练成本问题,通过研究 ASR 预训练、数据过滤和音频分段等因素,提出了一种轻量级的训练策略,实现在降低模型训练成本的同时,优化了翻译质量,模型准确度得到提升。
May, 2022
本文介绍了 NAVER LABS Europe 的 Tamasheq-French 和 Quechua-Spanish 语音翻译系统,着重研究了在低资源情况下使用多语种参数高效解决方案,利用强大的预训练模型来最大化翻译质量的工作。
Jun, 2023
本文介绍本团队使用 YiTrans 语音翻译系统参加 IWSLT 2022 离线任务,该系统基于大规模预训练编码器 - 解码器模型,并通过多阶段预训练策略、精细调节、数据过滤、数据增强、语音分割和多模型融合等多方面开展改进,结果显示我们的 YiTrans 系统在英德、英中和英日三个方向上的性能优于去年的最优端到端系统,并在英德和英中方向上名列自动评估度量的第一。
Jun, 2022
本文介绍了 ON-TRAC 联盟为 2022 年 IWSLT 评测的两个挑战领域(低资源和方言演讲翻译)开发的翻译系统,该系统包括利用传递学习的管道方法和基于 wav2vec 2.0 模型转换的语音转换模型等。
May, 2022
本文描述了 NiuTrans 端到端语音翻译系统的提交,采用 Transformer 模型,结合 Conformer、相对位置编码和堆叠音频和文本编码来增强模型表现,在训练数据扩充方面采用了英文翻译到德文的方法,最终采用集成解码方法将多个模型的预测结果融合,达到了 33.84 BLEU 点,显现了端到端模型的巨大潜力。
Jul, 2021
描述了悉尼大学&JD 在 IWSLT 2021 低资源语音翻译任务中的联合提交。我们参加了斯瓦希里语 - 英语方向,并在所有参与者中获得了最佳的分数,使用基于管道框架的 ASR 和 NMT。我们采用了多种技术方法,包括基于知识蒸馏的后向转换、多特征重排和传导调整。在模型结构方面,我们分别尝试了自回归模型和非自回归模型,还提出了两种新颖的预训练方法,即去噪训练和双向训练,取得了 SOTA 的性能。
Jul, 2021