Oct, 2022

低延迟流式 ASR 的延迟惩罚转录器

PDF
TL;DR提出一种惩罚转导模型符号延迟的简单方法，来平衡无外部对齐的在线模型特征提取和识别精度之间的权衡，该方法对流式 Conformer 模型和单向 LSTM 模型都可以有效降低符号延迟并且保持可以接受的性能下降。
streaming automatic speech recognitionsymbol delaytransducer modelconformer modelsunidirectional long short-term memory
发现论文，激发创造
  • 流式端到端语音识别序列转导器的最小延迟训练

    本文提出了一种新的训练方法，通过明确建模和减少序列变换器模型的延迟来达到最优的延迟和准确性均衡，实验结果表明，所提出的最小延迟训练方法将有助于将哈尔滨工业大学卡苏耶延迟从 220ms 降低到 27ms，并在误识率降低了 0.7% 的同时，优于传统的对齐限制训练和快速发射方法。

    Nov, 2022

  • FastEmit: 序列级发射正则化的低延迟流式自动语音识别

    本研究提出一种名为 FastEmit 的序列级发射规则方法，该方法可在训练转导模型时直接对序列级概率进行延迟规则化，从而在不需要任何对齐的情况下更适合流式 ASR 的序列级优化，有效降低音频识别的延迟并提升精度。

    Oct, 2020

  • 流式序列到序列语音识别的最小延迟训练策略

    本文研究在线语音识别中的延迟问题，探究了利用硬对齐来进行多任务学习、预训练、合理删减对齐路径和直接减少预期延迟损失等多项方案，成功地实现了对延迟的缩减，并在某些情况下提高了语音识别准确性。

    Apr, 2020

  • 高速准确流式端到端自动语音识别

    本文提出了使用延迟惩罚技巧和最小词错误率训练技术来减少端到端模型延迟以提高其质量的方法，并在语音识别方面展示出重要改进。

    Apr, 2020

  • 流式并行传感器束搜索算法及快慢级联编码器

    该研究提出了在流式自动语音识别中应用串联有因果和非因果编码器的方法，并使用两个有不同输入上下文大小和以不同的音频间隔产生输出的流式非因果编码器进行改进；同时提出了一种新的并行时间同步波束搜索算法。研究结果表明，在公共数据集 Librispeech 和内部数据集上，该算法在稍微增加音节延迟的情况下，实现 WER 降低 20％左右，并探索了分布式处理和共享参数降低内存占用的技术，以实现低计算成本和低内存占用的边缘设备上的低延迟处理。

    Mar, 2022

  • Conv-Transformer 转换器：低延迟、低帧率、可流式传输的端到端语音识别

    本研究设计了 Conv-Transformer Transducer 架构，在 LibriSpeech 数据集上实现了较强的流式语音识别性能，该架构适用于流式 ASR，且相较于以前发布的 Transformer Transducer 和强混合流式 ASR 系统，拥有更小的前向窗口、更少的参数和更低的帧率。

    Aug, 2020

  • TrimTail: 简单但有效的声谱长度惩罚实现低延迟流式自动语音识别

    本文提出了 TrimTail 方法，一种简单而有效的发射规则化方法，用于改善流式 ASR 模型的延迟。该方法可以在输入话语的频谱上直接应用长度惩罚以降低延迟，并可与各种模型结构和训练模式有效地结合使用。在几个数据集上进行测试表明，使用 TrimTail 方法可以显著地降低延迟并提高准确性。

    Nov, 2022

  • 可控时延变换器用于实时标点预测和语病检测

    本文提出了一种能够实时完成插入标点符号和去除语言障碍的强调时间延迟变压器模型，为后续的机器翻译、对话系统等应用提高了可读性和性能。在 IWSLT2011 基准数据集和中文注释数据集上的实验证实，该方法在 F-score 上的表现优于之前的最佳模型，并达到了竞争性的推理速度。

    Mar, 2020

  • 使用 EMFORMER 的 CTC 流式自动语音识别的动态延迟

    本文提出一种帧级模型，采用高效增强记忆变压器块和动态延迟训练方法来提高流媒体自动语音识别的性能和降低计算复杂性，通过缓存机制并重复使用结合增强记忆库作为有限历史上下文的补充，以达到更好的性能。实验表明，该模型在 LibriSpeech 数据集上具有较高的性能。

    Mar, 2022

  • 流式 ASR 的计算成本分摊 Transformer

    该论文提出了一种基于 Transformer 的端到端自动语音识别体系结构，该体系结构通过计算成本分摊实现高效的神经推断，其在推断期间动态创建稀疏计算路径，实现计算资源的选择性使用，并使用可调节的损失函数规范预测性能对计算总体水平进行计算。在 LibriSpeech 数据上进行实验，最佳模型只增加 3％的相对字错误率并降低 60％的计算成本。

    Jul, 2022