Oct, 2020

可微分加权有限状态转换器

PDF
TL;DR该论文提出了一种使用加权有限状态转录器（WFSTs）进行自动微分的框架，使它们可以在训练期间动态使用，该框架可以探索新的结构化损失函数并结合各种序列级损失函数使用剪枝和回退等方法，在字短语的潜在分解学习方面具有很大的优势，同时提出了一种卷积 WFST 层，可用作传统卷积层的替代，用于手写识别和语音识别的实验中表现良好。
发现论文，激发创造
  • RNN-Transducer 损失函数的强大可扩展 WFST 框架

    本文提出了一种基于 WFST 框架的 RNN-T 损失简化开发的方案，并介绍了两种基于 WFST 的 RNN-T 实现，通过引入 W-RNNT 损失的示例说明了可扩展性优势，最终展示了 NeMo 工具包中所有实现的 RNN-T 损失。

    Mar, 2023

  • 有限状态转换器和语言模型的浅层融合用于文本规范化

    该研究提出了一种基于加权有限状态转换器和神经语言模型的混合方法，以解决文本归一化的上下文依赖性问题。

    Mar, 2022

  • 在 GPU 上使用有限状态转导进行解码

    通过 GPU 实现 Viterbi 算法和前向 - 后向算法对加权有限状态自动机进行加速，取得了至多 5.2 倍于串行实现输出速度，并对 OpenFST 实现达到 6093 倍的加速效果。

    Jan, 2017

  • 一种用于带权重写规则的高效编译器

    该研究介绍了一种新的算法，用于将上下文相关的重写规则编译成有限状态转换器（FSTs），能够更有效地进行自然语言和语音处理，并且扩展该算法以允许编译加权规则成加权的 FSTs。

    Jun, 1996

  • 在 GPU 上合成有限状态转换器

    本论文介绍了第一篇知道的 GPU 实现权重有限状态转换器组合操作的方法，并讨论了用于在此体系结构上实现最佳性能的优化。我们展示了我们的方法可以比串行实现快 6 倍，并且比 OpenFST 快 4.5 倍。

    May, 2018

  • 带权有限状态转移器表示的交易

    这篇研究论文介绍了一种复杂的法律交易模型，以加权有限状态转换机表示，所使用的数学算法可以提供可操作的法律洞见。

    Feb, 2023

  • 加权有限自动机组合的语音识别

    基于加权有限自动机和有限状态转换器的语音识别框架，可以用于统一表示识别中使用的各种信息源和数据结构，包括上下文相关单元、发音字典、语言模型和格点。可进行信息源的组合和其应用的优化，在识别期间动态组合语音观察和信息源。

    Mar, 1996

  • 神经有限状态转换器的结构感知路径推断

    用神经有限状态转导器作为生成模型，通过训练和推断来估计隐变量下的后验分布，解决了解释输入和输出字符串之间潜在对齐路径问题。

    Dec, 2023

  • 基于设备的流式快速精准逆文本规范化技术应用于自动语音识别

    本文描述了一种轻量级、准确的现场 Inverse Text Normalization（ITN）系统，通过使用流式 Transformer 标记器和 ITN 分类特定的 WFST，可在标记的文本上可靠地执行 ITN 转换，比基线模型小得多且具有自定义能力。

    Nov, 2022

  • 使用 Transformer 模拟序列和树上的加权自动机

    通过标准的基于梯度的训练，我们展示了 transformers 模型能够模拟加权有限自动机和加权树自动机的推理能力，并在理论上证明了这些结果以及所需的 transformer 模型大小与目标自动机状态数的关系。

    Mar, 2024