Nov, 2022

流式端到端语音识别序列转导器的最小延迟训练

PDF
TL;DR本文提出了一种新的训练方法，通过明确建模和减少序列变换器模型的延迟来达到最优的延迟和准确性均衡，实验结果表明，所提出的最小延迟训练方法将有助于将哈尔滨工业大学卡苏耶延迟从 220ms 降低到 27ms，并在误识率降低了 0.7% 的同时，优于传统的对齐限制训练和快速发射方法。
sequence transducerslatency reductionend-to-end speech recognitionconformer-tminimum latency training
发现论文，激发创造
  • 语音识别神经转换器的高效训练

    本文提出一个高效的 3 阶段渐进训练管道，能够快速利用有限的计算资源训练出接近最新成果性能的转录模型，证明了每个阶段的有效性，并在 Librispeech 和 Switchboard 训练语料库上进行了实验证明。

    Apr, 2022

  • 流式序列到序列语音识别的最小延迟训练策略

    本文研究在线语音识别中的延迟问题，探究了利用硬对齐来进行多任务学习、预训练、合理删减对齐路径和直接减少预期延迟损失等多项方案，成功地实现了对延迟的缩减，并在某些情况下提高了语音识别准确性。

    Apr, 2020

  • 低延迟流式 ASR 的延迟惩罚转录器

    提出一种惩罚转导模型符号延迟的简单方法，来平衡无外部对齐的在线模型特征提取和识别精度之间的权衡，该方法对流式 Conformer 模型和单向 LSTM 模型都可以有效降低符号延迟并且保持可以接受的性能下降。

    Oct, 2022

  • 高速准确流式端到端自动语音识别

    本文提出了使用延迟惩罚技巧和最小词错误率训练技术来减少端到端模型延迟以提高其质量的方法，并在语音识别方面展示出重要改进。

    Apr, 2020

  • FastEmit: 序列级发射正则化的低延迟流式自动语音识别

    本研究提出一种名为 FastEmit 的序列级发射规则方法，该方法可在训练转导模型时直接对序列级概率进行延迟规则化，从而在不需要任何对齐的情况下更适合流式 ASR 的序列级优化，有效降低音频识别的延迟并提升精度。

    Oct, 2020

  • 一种超越服务器传统模型质量和延迟的流式设备端到端模型

    本文提出了一种基于 RNN-T 模型的识别模型以及 LAS rescorer 模型，不仅在精度上，而且在延迟方面超越了传统模型，并发现 RNN-T+LAS 模型相比于传统模型在精度和延迟之间更好的权衡，例如，在相同的延迟下，RNN-T+LAS 相对识别准确率提高了 8％，模型尺寸也缩小了 400 多倍。

    Mar, 2020

  • Conv-Transformer 转换器：低延迟、低帧率、可流式传输的端到端语音识别

    本研究设计了 Conv-Transformer Transducer 架构，在 LibriSpeech 数据集上实现了较强的流式语音识别性能，该架构适用于流式 ASR，且相较于以前发布的 Transformer Transducer 和强混合流式 ASR 系统，拥有更小的前向窗口、更少的参数和更低的帧率。

    Aug, 2020

  • 一种更好和更快的流式 ASR 端到端模型

    本文研究了使用不同算法，如 FastEmit，Conformer 层和 Cascaded Encoders 等，提高端到端模型在流式语音识别领域的质量和延迟平衡。

    Nov, 2020

  • 使用部分假设选择实现低延迟序列到序列的语音识别和翻译

    本文针对编码器 - 解码器模型在语音翻译等序列任务中的精度和延迟问题，提出了三种延迟降低技术，包括使用单向注意力机制，实验证明该方法可以降低 83% 的延迟并牺牲 1% 的 WER（相对于离线转换）。同时还探讨了其在低延迟语音翻译上的应用。

    May, 2020

  • 使用 Scout 网络的低延迟端对端流式语音识别

    本文提出了一种基于 Transformer 模型的低延迟流式语音识别方法，其中包含了一个侦察网络和一个识别网络，该方法在 Librispeech 的测试数据集上实现了最佳性能 (2.7/6.4 WER) 和短暂的 639ms 延迟。

    Mar, 2020