ACLSep, 2021

学习何时为流式语音进行翻译

PDF
TL;DR本文提出了 MoSST 方法，一种用于流式语音翻译的简单有效方法，通过在编码器 - 解码器模型中构建高效的单调分割模块来逐步累积声学信息并检测输入语音中的适当语音单元边界。实验表明，MoSST 在 MuST-C 数据集的多个翻译方向上表现优异，实现了翻译质量和延迟之间的最佳折衷。
speech translationstreaming speechmosstmonotonic segmentationspeech unit boundaries
发现论文，激发创造
  • 无分割流式机器翻译

    提出一种无分割的框架，能够在生成翻译之前延迟分割决策，以在实时流中实现无分割的源流翻译，该框架在质量和延迟方面具有更好的权衡。

    Sep, 2023

  • 利用同步的流式 ASR 辅助的直接同声传译

    本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

    Jun, 2021

  • 使用增强记忆变换器的流播同声传译

    本文提出了一种针对实时应用场景的端到端增强记忆 Transformer 编码器，成功地应用于流式同声传译任务，可以处理大量连续输入，相较于单向掩码 Transformer 模型，具有更好的延迟和质量平衡。

    Oct, 2020

  • 流式语音：多任务学习与同时语音翻译

    Simultaneous speech-to-speech translation (Simul-S2ST) is achieved through StreamSpeech, a unified model that incorporates translation and simultaneous policy in multi-task learning, providing high-quality intermediate results and a comprehensive real-time communication experience.

    Jun, 2024

  • 通过利用流式历史将机器翻译从同时转换为流式转换

    该研究拓展了现有的同声翻译系统，提出一种基于流历史的流机器翻译方法，取得了较大的质量提升，并且表现优于现有同类最佳系统。

    Mar, 2022

  • 学习何时发声：离线模型下同时语音翻译中的延迟和质量权衡

    本文提出了一种面向实际应用场景的实时语音翻译系统 SimulS2ST，支持 57 种语言对英语的翻译，具备实时调节输出延迟的功能，能够非常快速地进行语音翻译。

    Jun, 2023

  • StreamAtt：基于注意力机制的音频历史选择的直接流式语音转写翻译

    实时的语音转文字翻译是具有挑战性的任务，文章提出了流式语音转文字翻译（StreamST）策略和流式语音转文字翻译延迟度量（StreamLAAL），并通过实验证明了其在实时语音翻译领域的有效性。

    Jun, 2024

  • 利用时间戳信息进行序列化联合流式识别和翻译

    提出了一种流式 Transformer-Transducer (T-T) 模型，能够使用单个解码器联合生成多对一和一对多的转录和翻译，并引入了一种基于时间戳信息的新颖方法来有效地在流式环境中生成语音识别和语音翻译的输出。通过在 {it, es, de}->en 上进行的实验证明了我们方法的有效性，首次实现了使用单个解码器生成一对多联合输出。

    Oct, 2023

  • 语音到文本翻译的连续解码

    COSTT 是一种整体方法，可以将语音转文本的源转录文本和目标的翻译文本生成在单个解码器中，从而实现语音翻译的模型训练以充分利用大量的平行文本语料库。实验证明，该方法在三个主流数据集上表现优于或不逊于之前的最新方法。

    Sep, 2020

  • 非分段输入的同步翻译：滑动窗口方法

    提出一种基于滑动窗口的方法来翻译语音识别输出，实验结果表明比传统的 ASR 分段方法提高了 1.3-2.0 BLEU 分数，且减少了重新翻译的需要。

    Oct, 2022