本文主要研究了与语音翻译相关的模型训练成本问题，通过研究 ASR 预训练、数据过滤和音频分段等因素，提出了一种轻量级的训练策略，实现在降低模型训练成本的同时，优化了翻译质量，模型准确度得到提升。

May, 2022

FBK 在 IWSLT 2024 的同时翻译评估竞演中通过提出的 SimulSeamless 方法参与了语音到文本翻译的子任务，使用 AlignAtt 和 SeamlessM4T 结合的中等配置，实现了无需重新训练或调整底层模型的跨注意力 SimulST 策略，在所有 Shared Task 语言中取得了可接受甚至更好的成绩，覆盖 143 多种源语言和 200 多种目标语言，并已在此链接上发布。

Jun, 2024

本论文提出了一种直接自动生成目标语言字幕及相应时间戳的自动字幕模型，与现有的级联模型相比，在提供高质量字幕的同时也具有更高的一致性和维护单一模型的优点。

Sep, 2022

该研究论文描述了 NAIST 参与 IWSLT 2024 评估活动的同时研究领域：英语到 {德语、日语、中文} 的语音文本翻译和英语到日语的语音语音翻译。他们开发了一个多语言端到端语音文本翻译模型，结合了两个预训练语言模型 HuBERT 和 mBART。通过两种解码策略（即本地一致性和 AlignAtt），他们训练了该模型，最终采用了本地一致性策略。他们的语音语音翻译方法是以上述语音文本模型作为初始，并结合包含音素估计模型、并行声学模型和并行 WaveGAN 声码器的渐进式文本语音模块。通过应用 Transformer 架构和 AlignAtt 策略改进的渐进式文本语音模块，结果显示他们的升级 TTS 模块有助于改善系统性能。

Jun, 2024

本文介绍了 FBK 参加 IWSLT 2020 离线语音翻译任务的方法和成果，使用基于 Transformer 模型的端到端系统，并运用了 ASR 预训练、数据增强、多任务学习等技术，最佳 BLEU 得分达到 29，优于最近相关研究。

Jun, 2020

本文介绍了我们在 IWSLT 2022 Simultaneous Speech Translation 比赛中的参赛作品，探讨了如何在不修改原始模型的情况下，在同步设置中利用离线模型的策略。在实验中，我们展示了我们的在线算法几乎与离线设置相等，而在测试集上的延迟方面比离线快 3 倍。我们还展示了在线化的离线模型在中高延迟区间比最佳 IWSLT2021 同声翻译系统表现更好，在低延迟区间则几乎持平。我们的系统已经公开发布。

Apr, 2022

本文研究如何在同时翻译中平衡高翻译质量和低延迟之间的权衡，并探讨通过训练单个离线模型来解决多个同时翻译模型维护造成的高计算成本的问题。研究结果表明，离线模型实现了与同时训练模型相似或更好的翻译质量，并且具有更低的延迟和更高的可扩展性。

Apr, 2022

本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

Jun, 2021

该论文介绍了 Volctrans 团队在 IWSLT 2021 中提交的系统，包括离线语音翻译和文本 - 文本同时翻译。他们采用端到端模型进行离线语音翻译，在 MuST-C 测试集上比基准结果提高了 8.1 BLEU 分值，并接近强级联解决方案的结果。针对文本 - 文本同时翻译，他们探索了最优的 wait-k 模型实践，并且在相同的延迟范围内超过了基准结果约 7 BLEU 分值。他们已发布代码和模型以促进未来的研究工作和工业应用。

May, 2021

本文介绍了一种使用混合数据来训练 SimulST 模型的有效方法，该方法使用了同声传译的数据和离线的双语数据，以及风格标签来指示模型生成同声传译或离线风格的输出。实验结果表明在不同的延迟范围内 BLEURT 有所改善，并且分析结果表明该模型比基准模型生成了更多的同声传译风格的输出。

Jun, 2023