带权有限状态转录器的三元组合
基于加权有限自动机和有限状态转换器的语音识别框架,可以用于统一表示识别中使用的各种信息源和数据结构,包括上下文相关单元、发音字典、语言模型和格点。可进行信息源的组合和其应用的优化,在识别期间动态组合语音观察和信息源。
Mar, 1996
本论文介绍了第一篇知道的 GPU 实现权重有限状态转换器组合操作的方法,并讨论了用于在此体系结构上实现最佳性能的优化。我们展示了我们的方法可以比串行实现快 6 倍,并且比 OpenFST 快 4.5 倍。
May, 2018
该研究介绍了一种新的算法,用于将上下文相关的重写规则编译成有限状态转换器(FSTs),能够更有效地进行自然语言和语音处理,并且扩展该算法以允许编译加权规则成加权的 FSTs。
Jun, 1996
该论文提出了一种使用加权有限状态转录器(WFSTs)进行自动微分的框架,使它们可以在训练期间动态使用,该框架可以探索新的结构化损失函数并结合各种序列级损失函数使用剪枝和回退等方法,在字短语的潜在分解学习方面具有很大的优势,同时提出了一种卷积 WFST 层,可用作传统卷积层的替代,用于手写识别和语音识别的实验中表现良好。
Oct, 2020
本文提出了一种基于 WFST 框架的 RNN-T 损失简化开发的方案,并介绍了两种基于 WFST 的 RNN-T 实现,通过引入 W-RNNT 损失的示例说明了可扩展性优势,最终展示了 NeMo 工具包中所有实现的 RNN-T 损失。
Mar, 2023
本研究从形式语言的角度出发,使用确定性有限状态转换器进行实验,研究了神经网络在学习复合性时的可学习性限制,发现关键在于转换器的转换覆盖率,限制为每个转换至少有 400 个示例。
Aug, 2022
本文提出了一种新的三态模糊隶属函数和三态模糊双支持向量机,将三态决策与机器学习中的标准二元分类模型 SVM 相结合,解决了 SVM 需要改进的不平衡分类问题。通过对 47 个不同数据集的比较实验,并从相同数据集中导出不同的不平衡比率的数据集,结果表明,所提出的模型显著优于其他传统的基于 SVM 的方法。
May, 2023
该论文提出了一种新型 Transformer 解码器架构,其用于不同的前馈头来模拟不同类型的 tokens,以及一种扩展 - 压缩技巧将邻近的 tokens 分组成复合单词的序列,表现出比现有模型更快和同等质量的学习能力.
Jan, 2021
通过 GPU 实现 Viterbi 算法和前向 - 后向算法对加权有限状态自动机进行加速,取得了至多 5.2 倍于串行实现输出速度,并对 OpenFST 实现达到 6093 倍的加速效果。
Jan, 2017