Oct, 2022

动态隐变量感知器实现高效语音翻译

PDF
TL;DR该研究提出了一种使用感知器编码器和动态潜在访问训练的语音到文本转换技术，这种技术在 MuST-C 数据集上的三种语言中可以与 Transformer 基线模型的性能相匹配，并且可以在推理过程中灵活部署，适应多种计算预算，而不会导致显著降低翻译质量。
transformersspeech translationperceiver encoderdynamic latent accesslanguage pairs
发现论文，激发创造
  • Speechformer：减少直接语音翻译中的信息损失

    提出了 Speechformer 的架构，该架构通过减少注意层中的内存使用，避免了初始的失真压缩，并根据更具信息的语言标准仅在较高级别上聚合信息，该架构在三种语言对 (en->de/es/nl) 上的实验表明了其有效性。

    Sep, 2021

  • 使用 EMFORMER 的 CTC 流式自动语音识别的动态延迟

    本文提出一种帧级模型，采用高效增强记忆变压器块和动态延迟训练方法来提高流媒体自动语音识别的性能和降低计算复杂性，通过缓存机制并重复使用结合增强记忆库作为有限历史上下文的补充，以达到更好的性能。实验表明，该模型在 LibriSpeech 数据集上具有较高的性能。

    Mar, 2022

  • 使用增强记忆变换器的流播同声传译

    本文提出了一种针对实时应用场景的端到端增强记忆 Transformer 编码器，成功地应用于流式同声传译任务，可以处理大量连续输入，相较于单向掩码 Transformer 模型，具有更好的延迟和质量平衡。

    Oct, 2020

  • 使用部分假设选择实现低延迟序列到序列的语音识别和翻译

    本文针对编码器 - 解码器模型在语音翻译等序列任务中的精度和延迟问题，提出了三种延迟降低技术，包括使用单向注意力机制，实验证明该方法可以降低 83% 的延迟并牺牲 1% 的 WER（相对于离线转换）。同时还探讨了其在低延迟语音翻译上的应用。

    May, 2020

  • 快速视觉感知的动态查询选择

    本文探讨了如何在限制精度降低的同时，通过减少推理情况下的查询数量 Q，进一步提高 Perceivers 的效率，以解决网络复杂度和推理时间的问题。

    May, 2022

  • Small-E：用线性注意力实现高效语音合成的小型语言模型

    最近关于文本到语音合成（TTS）的研究表明，使用语言模型驱动的 TTS 展示了卓越的能力，能够实现自然度和零样本声音克隆。本文提出使用新兴递归架构替代变压器，并引入专门的交叉关注机制以减少重复和跳跃问题。结果，我们的架构能够在长音频样本上高效训练，并在相同规模的基准模型上实现最先进的零样本声音克隆。

    Jun, 2024

  • 开发用于大规模数据集实时流式转换器转导器的语音识别系统

    本文介绍了一种基于 Transform-XL 的可流式 Transformer-Transducer 模型的应用，用于语音识别中的低延迟且快速编码，比混合模型、RNN-Transducer 和流式 Transformer - 基于注意力的编码器 - 解码器模型具有更好的性能。

    Oct, 2020

  • DASpeech：用于快速高质量语音到语音翻译的有向无环 Transformer

    直接的语音对语音翻译（S2ST）模型 DASpeech 能够以极快的解码速度实现高质量的翻译，使用两步骤生成过程的双通路架构，其中语言解码器首先生成目标文本，然后声学解码器根据语言解码器的隐藏状态生成目标语音。

    Oct, 2023

  • 大规模流式端到端语音翻译基于神经转录器

    本文介绍了如何将神经转录器引入流式端到端语音翻译（ST）中，提出了基于注意力池化的 Transformer transducer（TT）模型以及在多语言 ST 中的应用，结果表明 TT 模型不仅显著减少了推理时间，而且在英德翻译上优于基于 ASR 和 MT 的非流式级联 ST。

    Apr, 2022

  • 用于语音翻译的格点变换器

    本研究提出了一种基于 lattice transformer 和 controllable lattice attention mechanism 的机器翻译方法，其应用于语音翻译任务时，在多条路径和后验分数的支持下，可以更好地泛化并取得更好的翻译结果。同时，在应用于 WMT 2017 中英翻译任务时，也可以取得优于基线的成果。

    Jun, 2019