本论文介绍了第一篇知道的 GPU 实现权重有限状态转换器组合操作的方法，并讨论了用于在此体系结构上实现最佳性能的优化。我们展示了我们的方法可以比串行实现快 6 倍，并且比 OpenFST 快 4.5 倍。

May, 2018

该论文提出了一种使用加权有限状态转录器（WFSTs）进行自动微分的框架，使它们可以在训练期间动态使用，该框架可以探索新的结构化损失函数并结合各种序列级损失函数使用剪枝和回退等方法，在字短语的潜在分解学习方面具有很大的优势，同时提出了一种卷积 WFST 层，可用作传统卷积层的替代，用于手写识别和语音识别的实验中表现良好。

Oct, 2020

本文提出了一种带有约束的传递损失，以学习两个序列之间的严格单调对齐，同时优化了标准的贪婪搜索和 beam search 算法，并限制在解码时每个时刻可以传出的符号数，使传感器解码更有效率；作者们还提出了基于有限状态自动机的并行 beam search 算法，可以高效地通过 GPU 运行图形。实验结果表明，我们不仅实现了轻微的错误字率（WER）的改善，而且还实现了显著的解码加速。

Oct, 2022

通过引入支持当前 CTC 模型的 GPU 加速加权有限状态转录器（WFST）波束搜索解码器，我们提供了一种 GPU 加速的波束搜索解码器，可以提高管道吞吐量，减少延迟，并支持流式推理，同时支持实时组合进行话语特定的单词增强。我们针对离线和在线场景评估了我们的解码器，证明它是 CTC 模型的最快波束搜索解码器。在离线场景中，它的吞吐量比当前最先进的 CPU 解码器高出多达 7 倍，在在线流式场景中，它的延迟几乎比之前更低，而且单词错误率相同或更好。

Nov, 2023

该研究介绍了一种新的算法，用于将上下文相关的重写规则编译成有限状态转换器（FSTs），能够更有效地进行自然语言和语音处理，并且扩展该算法以允许编译加权规则成加权的 FSTs。

Jun, 1996

基于加权有限自动机和有限状态转换器的语音识别框架，可以用于统一表示识别中使用的各种信息源和数据结构，包括上下文相关单元、发音字典、语言模型和格点。可进行信息源的组合和其应用的优化，在识别期间动态组合语音观察和信息源。

Mar, 1996

本文提出一种基于有限状态转换器的键盘输入解码模型，通过借鉴语音识别的实践经验，旨在满足移动设备键盘输入的严格内存及延迟要求，并且支持文字解码、自动纠正、单词补全和下一个词预测等本文未涉及的功能，并演示了新的 UX 特性，例如后置纠正，并概述了该解码器如何支持个性化和情境化的高级功能。

Apr, 2017

通过标准的基于梯度的训练，我们展示了 transformers 模型能够模拟加权有限自动机和加权树自动机的推理能力，并在理论上证明了这些结果以及所需的 transformer 模型大小与目标自动机状态数的关系。

Mar, 2024

本文提出了解决 RNN 的状态转移抽取中过稀疏问题的新方法，包括用经验方法补充缺失规则、调整转移矩阵以加强上下文感知、以及数据增强策略以跟踪目标 RNN 的更多动态行为。研究结果表明，我们的方法能够以更好的精度从 RNN 中提取加权有限自动机，特别适用于自然语言处理模型。

Jun, 2022

该研究介绍了一种从黑盒语言模型中提取概率确定有限自动机（PDFA）的算法，并在应用于循环神经网络（RNN）时，通常比从同一网络中提取加权有限自动机（WFA）的谱提取法实现更好的单词错误率（WER）和标准化分布累计收益（NDCG）。

Oct, 2019