May, 2021

2021 年 IWSLT 的 Volctrans 神经语音翻译系统

PDF
TL;DR该论文介绍了 Volctrans 团队在 IWSLT 2021 中提交的系统，包括离线语音翻译和文本 - 文本同时翻译。他们采用端到端模型进行离线语音翻译，在 MuST-C 测试集上比基准结果提高了 8.1 BLEU 分值，并接近强级联解决方案的结果。针对文本 - 文本同时翻译，他们探索了最优的 wait-k 模型实践，并且在相同的延迟范围内超过了基准结果约 7 BLEU 分值。他们已发布代码和模型以促进未来的研究工作和工业应用。
speech translationtext-to-text translationend-to-end modelbleu scorewait-k model
发现论文，激发创造
  • WMT22 多语言机器翻译任务的 VolcTrans 系统

    本报告介绍了我们的 VolcTrans 系统，它是一个基于 Transformer 的多语言模型，使用从多个来源收集的数据进行训练，包括来自数据轨道的公共训练集，由 Meta AI 提供的 NLLB 数据，自收集的平行语料库和来自反向翻译的伪双语文本。在官方测试集上，我们的系统实现了 17.3 BLEU，21.9 spBLEU，和 41.9 chrF2 ++，平均所有语言对的推理速度为每秒 11.5 句，使用单个 Nvidia Tesla V100 GPU。

    Oct, 2022

  • NiuTrans 一体化语音翻译系统在 IWSLT 2021 离线任务中的应用

    本文描述了 NiuTrans 端到端语音翻译系统的提交，采用 Transformer 模型，结合 Conformer、相对位置编码和堆叠音频和文本编码来增强模型表现，在训练数据扩充方面采用了英文翻译到德文的方法，最终采用集成解码方法将多个模型的预测结果融合，达到了 33.84 BLEU 点，显现了端到端模型的巨大潜力。

    Jul, 2021

  • IWSLT 2022 年同声传译任务 CUNI-KIT 系统

    本文介绍了我们在 IWSLT 2022 Simultaneous Speech Translation 比赛中的参赛作品，探讨了如何在不修改原始模型的情况下，在同步设置中利用离线模型的策略。在实验中，我们展示了我们的在线算法几乎与离线设置相等，而在测试集上的延迟方面比离线快 3 倍。我们还展示了在线化的离线模型在中高延迟区间比最佳 IWSLT2021 同声翻译系统表现更好，在低延迟区间则几乎持平。我们的系统已经公开发布。

    Apr, 2022

  • 高效而具有竞争力的语音翻译：FBK@IWSLT2022

    本文主要研究了与语音翻译相关的模型训练成本问题，通过研究 ASR 预训练、数据过滤和音频分段等因素，提出了一种轻量级的训练策略，实现在降低模型训练成本的同时，优化了翻译质量，模型准确度得到提升。

    May, 2022

  • YiTrans IWSLT 2022 离线共享任务端到端语音翻译系统

    本文介绍本团队使用 YiTrans 语音翻译系统参加 IWSLT 2022 离线任务，该系统基于大规模预训练编码器 - 解码器模型，并通过多阶段预训练策略、精细调节、数据过滤、数据增强、语音分割和多模型融合等多方面开展改进，结果显示我们的 YiTrans 系统在英德、英中和英日三个方向上的性能优于去年的最优端到端系统，并在英德和英中方向上名列自动评估度量的第一。

    Jun, 2022

  • KIT 的 IWSLT 2023 多语言语音翻译系统

    本文介绍了一种针对具有口音的输入语音和术语密集的内容进行科学会议演讲翻译的语音翻译系统，使用了 kNN-MT 方法进行有效适应，该系统远优于其端对端对应物。

    Jun, 2023

  • WMT20 的 Volctrans 机器翻译系统

    介绍我们在 WMT20 共享新闻翻译任务中使用的 VolcTrans 系统，该系统基于 Transformer，包括文本预处理、数据选择、合成数据生成、高级模型集成和多语言预训练。

    Oct, 2020

  • 2024 年 IWSLT 大会 NAIST 同时语音翻译系统

    该研究论文描述了 NAIST 参与 IWSLT 2024 评估活动的同时研究领域：英语到 {德语、日语、中文} 的语音文本翻译和英语到日语的语音语音翻译。他们开发了一个多语言端到端语音文本翻译模型，结合了两个预训练语言模型 HuBERT 和 mBART。通过两种解码策略（即本地一致性和 AlignAtt），他们训练了该模型，最终采用了本地一致性策略。他们的语音语音翻译方法是以上述语音文本模型作为初始，并结合包含音素估计模型、并行声学模型和并行 WaveGAN 声码器的渐进式文本语音模块。通过应用 Transformer 架构和 AlignAtt 策略改进的渐进式文本语音模块，结果显示他们的升级 TTS 模块有助于改善系统性能。

    Jun, 2024

  • USTC-NEL 在 IWSLT 2018 的语音翻译系统

    本论文讨论了 USTC-NEL 系统在 2018 年 IWSLT 评估的语音翻译任务中的应用，使用了传统的管道系统，包含三个模块：语音识别、后处理和机器翻译。我们训练了一组混合 - HMM 模型进行语音识别，并使用语音识别输出风格的文本作为输入来训练基于 transformer 的神经机器翻译模型。在 IWSLT 2018 任务上的实验表明，相较于 KIT 的基线系统，我们的系统实现了 14.9 的 BLEU 改善。

    Dec, 2018

  • USTC-NELSLIP 在 IWSLT 2021 的同声传译系统

    本文介绍了中国科技大学 - 智能语音处理研究组在 IWSLT2021 同声传译（Simultaneous Speech Translation）比赛中的参赛作品。我们提出了一种新颖的同声翻译模型 Cross Attention Augmented Transducer（CAAT），该模型可以在没有单调性约束的情况下进行序列到序列任务，例如同时翻译。我们在语音到文本（S2T）和文本到文本（T2T）同时翻译任务上进行实验，结果显示 CAAT 相对于之前的最先进方法之一 wait-k 实现了更好的质量 - 延迟权衡。基于 CAAT 架构和数据增强，我们在这次评估活动中构建 S2T 和 T2T 同时翻译系统，相比去年的最佳系统，我们的 S2T 同时翻译系统平均提高了 11.3 BLEU，而我们的 T2T 同时翻译系统平均提高了 4.6 BLEU。

    Jul, 2021