带权有限状态转移器表示的交易
该论文提出了一种使用加权有限状态转录器(WFSTs)进行自动微分的框架,使它们可以在训练期间动态使用,该框架可以探索新的结构化损失函数并结合各种序列级损失函数使用剪枝和回退等方法,在字短语的潜在分解学习方面具有很大的优势,同时提出了一种卷积 WFST 层,可用作传统卷积层的替代,用于手写识别和语音识别的实验中表现良好。
Oct, 2020
该研究介绍了一种新的算法,用于将上下文相关的重写规则编译成有限状态转换器(FSTs),能够更有效地进行自然语言和语音处理,并且扩展该算法以允许编译加权规则成加权的 FSTs。
Jun, 1996
本论文介绍了第一篇知道的 GPU 实现权重有限状态转换器组合操作的方法,并讨论了用于在此体系结构上实现最佳性能的优化。我们展示了我们的方法可以比串行实现快 6 倍,并且比 OpenFST 快 4.5 倍。
May, 2018
本文提出了一种基于 WFST 框架的 RNN-T 损失简化开发的方案,并介绍了两种基于 WFST 的 RNN-T 实现,通过引入 W-RNNT 损失的示例说明了可扩展性优势,最终展示了 NeMo 工具包中所有实现的 RNN-T 损失。
Mar, 2023
本文提出了一种称为 3-way composition 的加权转换的组合算法,相较于标准组合算法更为快速,其复杂度为 O(|T|_Q * min (d (T_1) * d (T_3), d (T_2)) + |T|_E), 在多种应用中具有显著的性能优势。
Feb, 2008
通过 GPU 实现 Viterbi 算法和前向 - 后向算法对加权有限状态自动机进行加速,取得了至多 5.2 倍于串行实现输出速度,并对 OpenFST 实现达到 6093 倍的加速效果。
Jan, 2017
通过标准的基于梯度的训练,我们展示了 transformers 模型能够模拟加权有限自动机和加权树自动机的推理能力,并在理论上证明了这些结果以及所需的 transformer 模型大小与目标自动机状态数的关系。
Mar, 2024
本文提出一种基于有限状态转换器的键盘输入解码模型,通过借鉴语音识别的实践经验,旨在满足移动设备键盘输入的严格内存及延迟要求,并且支持文字解码、自动纠正、单词补全和下一个词预测等本文未涉及的功能,并演示了新的 UX 特性,例如后置纠正,并概述了该解码器如何支持个性化和情境化的高级功能。
Apr, 2017