Aug, 2023

低延迟同时语音翻译的端到端评估

PDF
TL;DR低延迟语音翻译的评估框架：该研究提出了第一个在真实场景下执行和评估低延迟语音翻译各个方面的框架，通过对音频分割和不同组件运行时间的评估，比较可修订输出模型和固定输出方法，对比级联和端到端系统，并自动评估翻译质量和延迟，并提供网页接口展示低延迟模型输出给用户。
low-latency speech translationevaluation frameworkend-to-end systemstranslation qualitylatency
发现论文，激发创造
  • 多语言同声传译

    研究了一种在会议或会谈中进行同时语音翻译的应用程序，并探讨了使用在线口语翻译模型建立在线口语翻译系统的一般方法以及针对这种方法采用不同的语言和体系结构的多语种模型与端对端模型的能力。所提出的方法通过对 TEDx 语料库的实验证明，相似的潜在优势。

    Mar, 2022

  • SimulEval：一款用于同时翻译评估的工具包

    SimulEval 是一个易于使用、面向同时文本和语音翻译的通用评估工具包，通过客户端执行自定义策略实现同时解码，自动执行同时解码并收集几个流行的延迟度量。

    Jul, 2020

  • 同时机器翻译的流级延迟评估

    本文提出了基于重新划分的流级别延迟评估方法，较好地适用于连续的流翻译，并在参考 IWSLT 任务的流式条件下得到成功评估。

    Apr, 2021

  • 通过潜在对齐分段实现长篇连贯语音翻译

    提出一种新的分割方法，用于低延迟的端到端同时语音翻译，并且在多种语言对和领域数据中显示出具有先进水平的质量。

    Sep, 2023

  • 联合语音识别和翻译的流式模型

    本文介绍了如何使用端到端模型进行语音翻译，并在流式翻译设置中实现同时生成音频转录和翻译输出，并比较了与标准级联方法的表现，结果表明这种方法与级联模型的表现相似，但参数数量更少。

    Jan, 2021

  • 语音翻译与端到端的承诺：回顾我们的现状

    本文介绍了语音翻译技术从松散耦合的串联模型到紧耦合再到最近备受关注的端到端模型的发展历程，讨论了传统方法所面临的主要挑战和最新方法对克服这些问题的方案。通过对传统和最新方法进行统一分类和命名，以解决语音识别和数据缺失问题等开放性研究问题。

    Apr, 2020

  • 评估语音翻译的评估指标

    本文评估了目前针对语音翻译的指标，并评估了不同评估方法在方言变体翻译上的影响。同时表明先前使用的自动度量标准最适合于标准化高资源语言。

    Oct, 2021

  • 多语言端到端语音翻译

    本文提出了一种简单且有效的多语言端到端语音翻译框架，并证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性以及相对于双语端到端语音翻译的优势。

    Oct, 2019

  • 基于端到端的语音转文本翻译的比较研究

    本文介绍了深度学习在语音到文本翻译领域的应用，主要研究了不同端到端架构以及辅助性连接主义时间分类（CTC）损失函数的使用，着重探讨了预训练模型对最终性能的影响，实验证明预训练模型可以使 BLEU 指标提高 4％，TER 指标提高 5％，并且在 270 小时 IWSLT TED 演讲 En->De 和 100 小时 LibriSpeech Audiobooks En->Fr 上的实验结果表明，该方法可以超过当前的端到端最先进系统。

    Nov, 2019

  • 语音的一致转录和翻译

    本研究探索了一种同时实现语音转写和翻译的方法，并比较了传统串联式方法和端到端模型的表现。研究发现，直接模型不适用于这一任务，但采用耦合推理过程的端到端模型能够实现强一致性。此外，研究还引入了直接优化一致性的简单技术，并分析了一致性、转写准确性和翻译准确性之间的权衡。

    Jul, 2020