本文提出了一种面向实际应用场景的实时语音翻译系统 SimulS2ST，支持 57 种语言对英语的翻译，具备实时调节输出延迟的功能，能够非常快速地进行语音翻译。

Jun, 2023

本文介绍了一种使用混合数据来训练 SimulST 模型的有效方法，该方法使用了同声传译的数据和离线的双语数据，以及风格标签来指示模型生成同声传译或离线风格的输出。实验结果表明在不同的延迟范围内 BLEURT 有所改善，并且分析结果表明该模型比基准模型生成了更多的同声传译风格的输出。

Jun, 2023

该论文提供了对 SimulST 研究的综合概述，着重讨论了四个主要挑战，包括处理长时间和连续的语音流的复杂性、满足实时要求的困难、在翻译质量和延迟限制之间取得平衡的挑战以及缺乏注释数据所带来的复杂性。通过对这些挑战和提出的解决方案的探讨，旨在提供对 SimulST 研究当前现状的宝贵见解，并为未来的探索提出有希望的方向。

Jun, 2024

Simultaneous speech-to-speech translation (Simul-S2ST) is achieved through StreamSpeech, a unified model that incorporates translation and simultaneous policy in multi-task learning, providing high-quality intermediate results and a comprehensive real-time communication experience.

Jun, 2024

研究了一种在会议或会谈中进行同时语音翻译的应用程序，并探讨了使用在线口语翻译模型建立在线口语翻译系统的一般方法以及针对这种方法采用不同的语言和体系结构的多语种模型与端对端模型的能力。所提出的方法通过对 TEDx 语料库的实验证明，相似的潜在优势。

Mar, 2022

本文调查了如何将同步文本翻译方法与同时语音翻译相结合，并通过引入预决定模块来适应于端到端的同时语音翻译。同时，对将固定和灵活的预决策与固定和灵活的策略相结合的延迟质量权衡进行了详细分析。作者还设计了一种新的计算感知的延迟度量方法，该方法从平均滞后进行调整。

Nov, 2020

这篇论文提出了一种基于 LlM 的对话式 SimulMT 框架，通过多轮对话解码提高 LLM 的推理效率，在两个 SimulMT 基准测试中展示了 LLM 在翻译质量上的优越性以及与专用 SimulMT 模型相当的计算延迟。

Feb, 2024

本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

Jun, 2021

本文介绍了我们在 IWSLT 2022 Simultaneous Speech Translation 比赛中的参赛作品，探讨了如何在不修改原始模型的情况下，在同步设置中利用离线模型的策略。在实验中，我们展示了我们的在线算法几乎与离线设置相等，而在测试集上的延迟方面比离线快 3 倍。我们还展示了在线化的离线模型在中高延迟区间比最佳 IWSLT2021 同声翻译系统表现更好，在低延迟区间则几乎持平。我们的系统已经公开发布。

Apr, 2022

本文提出了一种将翻译过程分解为单调翻译和重新排序步骤的新框架，并通过辅助排序网络模型来模拟其中的重新排序步骤，从而提高了同时翻译模型的翻译效果。

Jan, 2022