Nov, 2020

从 SimulMT 到 SimulST: 将同时翻译文本转换为端到端同时翻译语音

PDF
TL;DR本文调查了如何将同步文本翻译方法与同时语音翻译相结合，并通过引入预决定模块来适应于端到端的同时语音翻译。同时，对将固定和灵活的预决策与固定和灵活的策略相结合的延迟质量权衡进行了详细分析。作者还设计了一种新的计算感知的延迟度量方法，该方法从平均滞后进行调整。
simultaneous translationend-to-end translationspeech translationpre-decision modulelatency-quality trade-offs
发现论文，激发创造
  • 数据驱动的自适应同时机器翻译

    本文提出一种用于自适应 SimulMT 训练的有效方案，通过向训练语料库中添加自适应前缀对前缀的语句，来缓解 Wait-K 策略的两个主要限制，实验证明该方法在翻译质量和延迟方面优于所有强基准线。

    Apr, 2022

  • 端到端同步语音翻译的最新进展

    该论文提供了对 SimulST 研究的综合概述，着重讨论了四个主要挑战，包括处理长时间和连续的语音流的复杂性、满足实时要求的困难、在翻译质量和延迟限制之间取得平衡的挑战以及缺乏注释数据所带来的复杂性。通过对这些挑战和提出的解决方案的探讨，旨在提供对 SimulST 研究当前现状的宝贵见解，并为未来的探索提出有希望的方向。

    Jun, 2024

  • 利用同步的流式 ASR 辅助的直接同声传译

    本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

    Jun, 2021

  • 无需预测的同步机器翻译训练

    本文提出了一种将翻译过程分解为单调翻译和重新排序步骤的新框架，并通过辅助排序网络模型来模拟其中的重新排序步骤，从而提高了同时翻译模型的翻译效果。

    Jan, 2022

  • 使用同声传译数据进行标记的端到端同声传译训练

    本文介绍了一种使用混合数据来训练 SimulST 模型的有效方法，该方法使用了同声传译的数据和离线的双语数据，以及风格标签来指示模型生成同声传译或离线风格的输出。实验结果表明在不同的延迟范围内 BLEURT 有所改善，并且分析结果表明该模型比基准模型生成了更多的同声传译风格的输出。

    Jun, 2023

  • STACL: 前缀到前缀框架的隐含预测与可控延迟的同时翻译

    该研究提出了一种基于前缀的预测模型，采用 wait-k 策略来实现当前缀的翻译，并在中英文和德英文四个方向上实现了较低的延迟和合理的质量。

    Oct, 2018

  • 同声传译是否需要同时模型？

    本文研究如何在同时翻译中平衡高翻译质量和低延迟之间的权衡，并探讨通过训练单个离线模型来解决多个同时翻译模型维护造成的高计算成本的问题。研究结果表明，离线模型实现了与同时训练模型相似或更好的翻译质量，并且具有更低的延迟和更高的可扩展性。

    Apr, 2022

  • 学习何时发声：离线模型下同时语音翻译中的延迟和质量权衡

    本文提出了一种面向实际应用场景的实时语音翻译系统 SimulS2ST，支持 57 种语言对英语的翻译，具备实时调节输出延迟的功能，能够非常快速地进行语音翻译。

    Jun, 2023

  • Conversational SimulMT: 大型语言模型的高效实时翻译

    这篇论文提出了一种基于 LlM 的对话式 SimulMT 框架，通过多轮对话解码提高 LLM 的推理效率，在两个 SimulMT 基准测试中展示了 LLM 在翻译质量上的优越性以及与专用 SimulMT 模型相当的计算延迟。

    Feb, 2024

  • SimulEval：一款用于同时翻译评估的工具包

    SimulEval 是一个易于使用、面向同时文本和语音翻译的通用评估工具包，通过客户端执行自定义策略实现同时解码，自动执行同时解码并收集几个流行的延迟度量。

    Jul, 2020