Mar, 2023

RNN-Transducer 损失函数的强大可扩展 WFST 框架

PDF
TL;DR本文提出了一种基于 WFST 框架的 RNN-T 损失简化开发的方案，并介绍了两种基于 WFST 的 RNN-T 实现，通过引入 W-RNNT 损失的示例说明了可扩展性优势，最终展示了 NeMo 工具包中所有实现的 RNN-T 损失。
weighted finite-state transducersrnn-transducerwfstw-transducernemo toolkit
发现论文，激发创造
  • 可微分加权有限状态转换器

    该论文提出了一种使用加权有限状态转录器（WFSTs）进行自动微分的框架，使它们可以在训练期间动态使用，该框架可以探索新的结构化损失函数并结合各种序列级损失函数使用剪枝和回退等方法，在字短语的潜在分解学习方面具有很大的优势，同时提出了一种卷积 WFST 层，可用作传统卷积层的替代，用于手写识别和语音识别的实验中表现良好。

    Oct, 2020

  • 有限状态转换器和语言模型的浅层融合用于文本规范化

    该研究提出了一种基于加权有限状态转换器和神经语言模型的混合方法，以解决文本归一化的上下文依赖性问题。

    Mar, 2022

  • 在 GPU 上合成有限状态转换器

    本论文介绍了第一篇知道的 GPU 实现权重有限状态转换器组合操作的方法，并讨论了用于在此体系结构上实现最佳性能的优化。我们展示了我们的方法可以比串行实现快 6 倍，并且比 OpenFST 快 4.5 倍。

    May, 2018

  • 一种用于带权重写规则的高效编译器

    该研究介绍了一种新的算法，用于将上下文相关的重写规则编译成有限状态转换器（FSTs），能够更有效地进行自然语言和语音处理，并且扩展该算法以允许编译加权规则成加权的 FSTs。

    Jun, 1996

  • 神经有限状态转换器的结构感知路径推断

    用神经有限状态转导器作为生成模型，通过训练和推断来估计隐变量下的后验分布，解决了解释输入和输出字符串之间潜在对齐路径问题。

    Dec, 2023

  • 使用 RNN-Transducer 探索流式端到端语音识别的架构、数据和单位

    本研究使用循环神经网络传输器（RNN-T）来训练端到端语音识别模型，并探索了不同的模型架构。通过使用字元素（wordpieces），模型的性能进一步得到了提高，最终在语音搜索和语音听写任务上取得了与最新基线相当的成果。

    Jan, 2018

  • 基于剪枝的 RNN-T 模型进行快速、高效的自动语音识别训练

    该论文介绍了一种更快，更节省内存的 RNN-T 损失计算方法，用于提高语音识别系统的计算速度和效率。

    Jun, 2022

  • 基于设备的流式快速精准逆文本规范化技术应用于自动语音识别

    本文描述了一种轻量级、准确的现场 Inverse Text Normalization（ITN）系统，通过使用流式 Transformer 标记器和 ITN 分类特定的 WFST，可在标记的文本上可靠地执行 ITN 转换，比基线模型小得多且具有自定义能力。

    Nov, 2022

  • 基于 GPU 加速的 WFST 波束搜索解码器用于基于 CTC 的语音识别

    通过引入支持当前 CTC 模型的 GPU 加速加权有限状态转录器（WFST）波束搜索解码器，我们提供了一种 GPU 加速的波束搜索解码器，可以提高管道吞吐量，减少延迟，并支持流式推理，同时支持实时组合进行话语特定的单词增强。我们针对离线和在线场景评估了我们的解码器，证明它是 CTC 模型的最快波束搜索解码器。在离线场景中，它的吞吐量比当前最先进的 CPU 解码器高出多达 7 倍，在在线流式场景中，它的延迟几乎比之前更低，而且单词错误率相同或更好。

    Nov, 2023

  • Transformer Transducer：基于 Transformer 编码器和 RNN-T Loss 的可流式语音识别模型

    该论文提出了一种端到端的语音识别模型，使用 Transformer 编码器可用于流媒体语音识别系统；该模型在 LibriSpeech 数据集上进行了实验结果，结果表明限制 Transformer 层中自注意力左侧上下文对于流式解码是可行的，并展示了我们的全注意力模型在 LibriSpeech 基准测试上的准确性优于现有技术水平。

    Feb, 2020