Nov, 2023

基于 GPU 加速的 WFST 波束搜索解码器用于基于 CTC 的语音识别

PDF
TL;DR通过引入支持当前 CTC 模型的 GPU 加速加权有限状态转录器（WFST）波束搜索解码器，我们提供了一种 GPU 加速的波束搜索解码器，可以提高管道吞吐量，减少延迟，并支持流式推理，同时支持实时组合进行话语特定的单词增强。我们针对离线和在线场景评估了我们的解码器，证明它是 CTC 模型的最快波束搜索解码器。在离线场景中，它的吞吐量比当前最先进的 CPU 解码器高出多达 7 倍，在在线流式场景中，它的延迟几乎比之前更低，而且单词错误率相同或更好。
connectionist temporal classificationautomated speech recognitiongpu-accelerated weighted finite state transducerbeam search decoderctc models
发现论文，激发创造
  • 转录器快速并行解码

    本文提出了一种带有约束的传递损失，以学习两个序列之间的严格单调对齐，同时优化了标准的贪婪搜索和 beam search 算法，并限制在解码时每个时刻可以传出的符号数，使传感器解码更有效率；作者们还提出了基于有限状态自动机的并行 beam search 算法，可以高效地通过 GPU 运行图形。实验结果表明，我们不仅实现了轻微的错误字率（WER）的改善，而且还实现了显著的解码加速。

    Oct, 2022

  • CTC 和转录器 ASR 模型的快速上下文偏见和基于 CTC 的词识别器

    通过 CTC-based Word Spotter 实现快速的上下文偏置识别，加速上下文偏置识别的同时提高了 F-score 和 WER，方法已经在 NVIDIA NeMo toolkit 中提供。

    Jun, 2024

  • 在 GPU 上使用有限状态转导进行解码

    通过 GPU 实现 Viterbi 算法和前向 - 后向算法对加权有限状态自动机进行加速，取得了至多 5.2 倍于串行实现输出速度，并对 OpenFST 实现达到 6093 倍的加速效果。

    Jan, 2017

  • 可微分加权有限状态转换器

    该论文提出了一种使用加权有限状态转录器（WFSTs）进行自动微分的框架，使它们可以在训练期间动态使用，该框架可以探索新的结构化损失函数并结合各种序列级损失函数使用剪枝和回退等方法，在字短语的潜在分解学习方面具有很大的优势，同时提出了一种卷积 WFST 层，可用作传统卷积层的替代，用于手写识别和语音识别的实验中表现良好。

    Oct, 2020

  • 在 GPU 上合成有限状态转换器

    本论文介绍了第一篇知道的 GPU 实现权重有限状态转换器组合操作的方法，并讨论了用于在此体系结构上实现最佳性能的优化。我们展示了我们的方法可以比串行实现快 6 倍，并且比 OpenFST 快 4.5 倍。

    May, 2018

  • RNN-Transducer 损失函数的强大可扩展 WFST 框架

    本文提出了一种基于 WFST 框架的 RNN-T 损失简化开发的方案，并介绍了两种基于 WFST 的 RNN-T 实现，通过引入 W-RNNT 损失的示例说明了可扩展性优势，最终展示了 NeMo 工具包中所有实现的 RNN-T 损失。

    Mar, 2023

  • 空白坍塌：压缩 CTC 发射以实现更快的解码

    本文分析了 CTC 束搜索中的空白标签并提出了一种简单的方法来减少计算量，提高解码速度，实验和理论都证明了该方法的有效性，并且发现该方法在模型准确率更高时效果更加明显，适用于 ASR 领域。

    Oct, 2022

  • 使用卷积神经网络扩展在线语音识别能力

    本研究设计了一种基于时深可分卷积与连接时序分类的在线端到端语音识别系统，通过优化核心架构，高效的波束搜索解码器以及提升性能指标的分析，系统吞吐量提高 3 倍，延迟降低同时保持更好的词语误差率。

    Jan, 2020

  • OWSM-CTC：一种用于语音识别、翻译和语种识别的开放式编码器语音基础模型

    基于连接主义时间分类（CTC）的新型仅编码器语音模型（OWSM-CTC）在多语言自动语音识别（ASR），语音翻译（ST）和语言识别（LID）任务上取得了有竞争力的结果，并在 ST 上提高了 25％的相对改进，在推断中更为稳健且速度更快，同时也对长形式 ASR 结果有 20 倍的加速。

    Feb, 2024

  • 将连接时序汇总添加到 Conformer 中，以提高其解码效率，用于语音识别

    本研究提出了一种新的” 连接时序总结 “(CTS) 方法，它可以减少 Conformer 模型中 attention decoder 所需的 frames 数，提高解码效率，并且它能够在不损失 ASR 准确性的情况下降低解码预算，提高识别准确度.

    Apr, 2022