Mar, 2022

多语言同声传译

PDF
TL;DR研究了一种在会议或会谈中进行同时语音翻译的应用程序，并探讨了使用在线口语翻译模型建立在线口语翻译系统的一般方法以及针对这种方法采用不同的语言和体系结构的多语种模型与端对端模型的能力。所提出的方法通过对 TEDx 语料库的实验证明，相似的潜在优势。
speech translationonline translation systemsend-to-end modelsmultilingual modelslatency reduction
发现论文，激发创造
  • 多语言端到端语音翻译

    本文提出了一种简单且有效的多语言端到端语音翻译框架，并证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性以及相对于双语端到端语音翻译的优势。

    Oct, 2019

  • 同声传译是否需要同时模型？

    本文研究如何在同时翻译中平衡高翻译质量和低延迟之间的权衡，并探讨通过训练单个离线模型来解决多个同时翻译模型维护造成的高计算成本的问题。研究结果表明，离线模型实现了与同时训练模型相似或更好的翻译质量，并且具有更低的延迟和更高的可扩展性。

    Apr, 2022

  • 基于流式端到端模型的大规模多语言语音识别

    本文介绍了一种使用条件向量和针对语言的适配器层结合的多语言端到端模型，取得了比单语言模型和传统模型都更低的语音识别误差率。

    Sep, 2019

  • 低延迟同时语音翻译的端到端评估

    低延迟语音翻译的评估框架：该研究提出了第一个在真实场景下执行和评估低延迟语音翻译各个方面的框架，通过对音频分割和不同组件运行时间的评估，比较可修订输出模型和固定输出方法，对比级联和端到端系统，并自动评估翻译质量和延迟，并提供网页接口展示低延迟模型输出给用户。

    Aug, 2023

  • 长篇同传口译的再翻译策略

    本研究针对如何实现长篇演讲等语音内容的同声传译问题，采用重新翻译的方式进行同步翻译，并提出了优化应用工具以加强稳定性的方法。研究结果表明，这种方法不仅延迟极低，翻译结果也具有高质量，能够轻易地进行多语言翻译。

    Dec, 2019

  • 多语言一对多端到端语音翻译

    本文旨在通过使用多语言方法探究转移学习在以端到端神经模型进行口语翻译中的有效性，结果表明，使用目标语言嵌入语义空间可以更有效地区分不同目标语言并改进结果，其中当对相似语言进行翻译时效果更为显著，特别是数据不足的情况下。

    Oct, 2019

  • 基于端到端的语音转文本翻译的比较研究

    本文介绍了深度学习在语音到文本翻译领域的应用，主要研究了不同端到端架构以及辅助性连接主义时间分类（CTC）损失函数的使用，着重探讨了预训练模型对最终性能的影响，实验证明预训练模型可以使 BLEU 指标提高 4％，TER 指标提高 5％，并且在 270 小时 IWSLT TED 演讲 En->De 和 100 小时 LibriSpeech Audiobooks En->Fr 上的实验结果表明，该方法可以超过当前的端到端最先进系统。

    Nov, 2019

  • 利用同步的流式 ASR 辅助的直接同声传译

    本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

    Jun, 2021

  • 学习何时发声：离线模型下同时语音翻译中的延迟和质量权衡

    本文提出了一种面向实际应用场景的实时语音翻译系统 SimulS2ST，支持 57 种语言对英语的翻译，具备实时调节输出延迟的功能，能够非常快速地进行语音翻译。

    Jun, 2023

  • 通过语音翻译辅助的端到端口语理解

    利用跨语言语音翻译 (ST) 作为预训练任务可提高单语和多语意图分类，口语问答的性能，并探索模型的贝叶斯迁移学习和持续学习惯性。

    May, 2023