ACLJun, 2024

流式语音：多任务学习与同时语音翻译

PDF
TL;DRSimultaneous speech-to-speech translation (Simul-S2ST) is achieved through StreamSpeech, a unified model that incorporates translation and simultaneous policy in multi-task learning, providing high-quality intermediate results and a comprehensive real-time communication experience.
speech-to-speech translationsimul-s2ststreaming speech translationpolicymulti-task learning
发现论文，激发创造
  • 端到端同步语音翻译的最新进展

    该论文提供了对 SimulST 研究的综合概述，着重讨论了四个主要挑战，包括处理长时间和连续的语音流的复杂性、满足实时要求的困难、在翻译质量和延迟限制之间取得平衡的挑战以及缺乏注释数据所带来的复杂性。通过对这些挑战和提出的解决方案的探讨，旨在提供对 SimulST 研究当前现状的宝贵见解，并为未来的探索提出有希望的方向。

    Jun, 2024

  • 利用同步的流式 ASR 辅助的直接同声传译

    本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

    Jun, 2021

  • 学习何时发声：离线模型下同时语音翻译中的延迟和质量权衡

    本文提出了一种面向实际应用场景的实时语音翻译系统 SimulS2ST，支持 57 种语言对英语的翻译，具备实时调节输出延迟的功能，能够非常快速地进行语音翻译。

    Jun, 2023

  • 同声传译是否需要同时模型？

    本文研究如何在同时翻译中平衡高翻译质量和低延迟之间的权衡，并探讨通过训练单个离线模型来解决多个同时翻译模型维护造成的高计算成本的问题。研究结果表明，离线模型实现了与同时训练模型相似或更好的翻译质量，并且具有更低的延迟和更高的可扩展性。

    Apr, 2022

  • StreamAtt：基于注意力机制的音频历史选择的直接流式语音转写翻译

    实时的语音转文字翻译是具有挑战性的任务，文章提出了流式语音转文字翻译（StreamST）策略和流式语音转文字翻译延迟度量（StreamLAAL），并通过实验证明了其在实时语音翻译领域的有效性。

    Jun, 2024

  • 使用同声传译数据进行标记的端到端同声传译训练

    本文介绍了一种使用混合数据来训练 SimulST 模型的有效方法，该方法使用了同声传译的数据和离线的双语数据，以及风格标签来指示模型生成同声传译或离线风格的输出。实验结果表明在不同的延迟范围内 BLEURT 有所改善，并且分析结果表明该模型比基准模型生成了更多的同声传译风格的输出。

    Jun, 2023

  • 交互解码同步语音识别与语音文本翻译

    本文提出了一种新的交互式注意机制，使自动语音识别和语音翻译在单个模型中可以同步地和交互地进行，实验表明，该模型在语音翻译和语音识别方面的性能表现均优于基线模型。

    Dec, 2019

  • 探索连续积分 - 火式神经元在自适应同声翻译中的应用

    本文提出了一种模型，通过采用连续集成与发射（CIF）方法，以适应策略来改进预判，从而在实时的语音翻译中取得更好的性能，实验结果表明其优于多头注意力（MMA）方法，并且具有更好的对长话语的泛化能力。

    Mar, 2022

  • SimulTron: 设备本地实时语音翻译

    SimulTron 是一种轻量级的直接 S2ST 模型，通过在移动设备上进行实时评估，优于 Translatotron 1 的性能，并在 MuST-C 数据集上实现了优越的 BLEU 得分和延迟，展示了在 Pixel 7 Pro 设备上同时进行 S2ST 的潜力。

    Jun, 2024

  • 通过利用流式历史将机器翻译从同时转换为流式转换

    该研究拓展了现有的同声翻译系统，提出一种基于流历史的流机器翻译方法，取得了较大的质量提升，并且表现优于现有同类最佳系统。

    Mar, 2022