Apr, 2022

IWSLT 2022 年同声传译任务 CUNI-KIT 系统

PDF
TL;DR本文介绍了我们在 IWSLT 2022 Simultaneous Speech Translation 比赛中的参赛作品，探讨了如何在不修改原始模型的情况下，在同步设置中利用离线模型的策略。在实验中，我们展示了我们的在线算法几乎与离线设置相等，而在测试集上的延迟方面比离线快 3 倍。我们还展示了在线化的离线模型在中高延迟区间比最佳 IWSLT2021 同声翻译系统表现更好，在低延迟区间则几乎持平。我们的系统已经公开发布。
simultaneous speech translationiwslt 2022offline modelonlinization algorithmlatency
发现论文，激发创造
  • 高效而具有竞争力的语音翻译：FBK@IWSLT2022

    本文主要研究了与语音翻译相关的模型训练成本问题，通过研究 ASR 预训练、数据过滤和音频分段等因素，提出了一种轻量级的训练策略，实现在降低模型训练成本的同时，优化了翻译质量，模型准确度得到提升。

    May, 2022

  • 2021 年 IWSLT 的 Volctrans 神经语音翻译系统

    该论文介绍了 Volctrans 团队在 IWSLT 2021 中提交的系统，包括离线语音翻译和文本 - 文本同时翻译。他们采用端到端模型进行离线语音翻译，在 MuST-C 测试集上比基准结果提高了 8.1 BLEU 分值，并接近强级联解决方案的结果。针对文本 - 文本同时翻译，他们探索了最优的 wait-k 模型实践，并且在相同的延迟范围内超过了基准结果约 7 BLEU 分值。他们已发布代码和模型以促进未来的研究工作和工业应用。

    May, 2021

  • KIT 的 IWSLT 2023 多语言语音翻译系统

    本文介绍了一种针对具有口音的输入语音和术语密集的内容进行科学会议演讲翻译的语音翻译系统，使用了 kNN-MT 方法进行有效适应，该系统远优于其端对端对应物。

    Jun, 2023

  • NiuTrans 一体化语音翻译系统在 IWSLT 2021 离线任务中的应用

    本文描述了 NiuTrans 端到端语音翻译系统的提交，采用 Transformer 模型，结合 Conformer、相对位置编码和堆叠音频和文本编码来增强模型表现，在训练数据扩充方面采用了英文翻译到德文的方法，最终采用集成解码方法将多个模型的预测结果融合，达到了 33.84 BLEU 点，显现了端到端模型的巨大潜力。

    Jul, 2021

  • 学习何时发声：离线模型下同时语音翻译中的延迟和质量权衡

    本文提出了一种面向实际应用场景的实时语音翻译系统 SimulS2ST，支持 57 种语言对英语的翻译，具备实时调节输出延迟的功能，能够非常快速地进行语音翻译。

    Jun, 2023

  • 同声传译是否需要同时模型？

    本文研究如何在同时翻译中平衡高翻译质量和低延迟之间的权衡，并探讨通过训练单个离线模型来解决多个同时翻译模型维护造成的高计算成本的问题。研究结果表明，离线模型实现了与同时训练模型相似或更好的翻译质量，并且具有更低的延迟和更高的可扩展性。

    Apr, 2022

  • FBK@IWSLT2023 的直接模型对于同步翻译和自动字幕

    该论文描述了 FBK 参与 IWSLT 2023 评估活动中的同时翻译和自动字幕轨道。我们的提交重点是使用直接架构来执行这两项任务：对于同时翻译，我们利用了离线训练模型已经获得的知识，并直接应用策略获得实时推理结果；对于字幕，我们对直接 ST 模型进行了调整，生成了符合规范的字幕，并利用相同的架构生成了与视听内容同步的时间戳。与 2021 年和 2022 年任务的排名前几位系统相比，我们的英德 SimulST 系统显示出更低的计算感知延迟，BLEU 提高了最多 3.5 分。我们的自动字幕系统在英德和英西文中分别比基于直接系统的唯一现有解决方案优于 3.7 和 1.7 SubER。

    Sep, 2023

  • 2020 年 IWSLT 挑战赛：ON-TRAC 贯穿端到端和同时语音翻译联盟

    该研究论文讲述了 ON-TRAC Consortium 翻译系统在 2020 年 IWSLT 评估活动中开发的两个挑战赛轨道（离线语音翻译和同传语音翻译）的使用，主要使用基于注意力机制的编码器 - 解码器模型进行训练，该模型实现了数据增强和多模型集成等贡献，并探讨了一种控制 ASR+MT 级联延迟的算法，以实现良好的延迟 - 质量折衷的平衡。

    May, 2020

  • 2024 年 IWSLT 大会 NAIST 同时语音翻译系统

    该研究论文描述了 NAIST 参与 IWSLT 2024 评估活动的同时研究领域：英语到 {德语、日语、中文} 的语音文本翻译和英语到日语的语音语音翻译。他们开发了一个多语言端到端语音文本翻译模型，结合了两个预训练语言模型 HuBERT 和 mBART。通过两种解码策略（即本地一致性和 AlignAtt），他们训练了该模型，最终采用了本地一致性策略。他们的语音语音翻译方法是以上述语音文本模型作为初始，并结合包含音素估计模型、并行声学模型和并行 WaveGAN 声码器的渐进式文本语音模块。通过应用 Transformer 架构和 AlignAtt 策略改进的渐进式文本语音模块，结果显示他们的升级 TTS 模块有助于改善系统性能。

    Jun, 2024

  • YiTrans IWSLT 2022 离线共享任务端到端语音翻译系统

    本文介绍本团队使用 YiTrans 语音翻译系统参加 IWSLT 2022 离线任务，该系统基于大规模预训练编码器 - 解码器模型，并通过多阶段预训练策略、精细调节、数据过滤、数据增强、语音分割和多模型融合等多方面开展改进，结果显示我们的 YiTrans 系统在英德、英中和英日三个方向上的性能优于去年的最优端到端系统，并在英德和英中方向上名列自动评估度量的第一。

    Jun, 2022