Apr, 2022

面向口语理解和同时语音翻译的分块流式 Transformer

PDF
TL;DR本研究提出基于块状，流式 Transformer 的方法，通过流式处理和块状并行检索，在同时进行自然语言理解和语音翻译等多个语音处理任务中，实现实时处理并取得与离线模型相当甚至更高的性能表现，并通过引入自动语音识别中间层损失约束和跨语言编码方法等方式进一步提高分类性能和模型表现。
transformersspeech processingstreamingsimultaneous translationautomatic speech recognition
发现论文，激发创造
  • 块同步束搜索流式 Transformer 自动语音识别

    本文提出一种基于块处理编码器的流式 E2E Transformer ASR 的新型分块同步束搜索算法，并在多项实验中的表现均优于传统的在线方法，特别是在使用知识蒸馏技术时。

    Jun, 2020

  • 使用增强记忆变换器的流播同声传译

    本文提出了一种针对实时应用场景的端到端增强记忆 Transformer 编码器，成功地应用于流式同声传译任务，可以处理大量连续输入，相较于单向掩码 Transformer 模型，具有更好的延迟和质量平衡。

    Oct, 2020

  • 利用文本对齐进行联合流式自动语音识别和语音翻译的分词级被序列化输出训练

    该论文介绍了一种使用单个解码器共同生成自动语音识别和语音翻译输出的流式 Transformer-Transducer，并提出了一种联合令牌级串行输出训练方法以实现有效的 ASR 和 ST 内容生成，其平均 ASR 延迟为 1 秒，ST 延迟为 1.3 秒，在多语言情况下优化了输出质量表现。

    Jul, 2023

  • 利用同步的流式 ASR 辅助的直接同声传译

    本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

    Jun, 2021

  • 利用时间戳信息进行序列化联合流式识别和翻译

    提出了一种流式 Transformer-Transducer (T-T) 模型，能够使用单个解码器联合生成多对一和一对多的转录和翻译，并引入了一种基于时间戳信息的新颖方法来有效地在流式环境中生成语音识别和语音翻译的输出。通过在 {it, es, de}->en 上进行的实验证明了我们方法的有效性，首次实现了使用单个解码器生成一对多联合输出。

    Oct, 2023

  • 大规模流式端到端语音翻译基于神经转录器

    本文介绍了如何将神经转录器引入流式端到端语音翻译（ST）中，提出了基于注意力池化的 Transformer transducer（TT）模型以及在多语言 ST 中的应用，结果表明 TT 模型不仅显著减少了推理时间，而且在英德翻译上优于基于 ASR 和 MT 的非流式级联 ST。

    Apr, 2022

  • 增量式分块波束搜索实现同时语音翻译与可控质量 - 延迟折衷

    通过修改增量性的分块束搜索策略，本文提出了一种用于控制质量 - 延迟权衡的方法，并应用于在线和离线翻译模型，实验结果表明在 MuST-C 数据集上 BLEU 指标提升 0.6-3.6，延迟降低 0.8-1.4 秒。

    Sep, 2023

  • 通过利用流式历史将机器翻译从同时转换为流式转换

    该研究拓展了现有的同声翻译系统，提出一种基于流历史的流机器翻译方法，取得了较大的质量提升，并且表现优于现有同类最佳系统。

    Mar, 2022

  • 流式语音：多任务学习与同时语音翻译

    Simultaneous speech-to-speech translation (Simul-S2ST) is achieved through StreamSpeech, a unified model that incorporates translation and simultaneous policy in multi-task learning, providing high-quality intermediate results and a comprehensive real-time communication experience.

    Jun, 2024

  • 隐式记忆变换器：面向计算效率的同声传译模型

    本文提出了一种采用隐式内存推理机制的新型左上下文方法的隐式存储变形器，以提高流式翻译的速度和性能，并在 MuST-C 数据集上进行实验以证明该方法优于现有方法。

    Jul, 2023