该论文提出了一种使用加权有限状态转录器（WFSTs）进行自动微分的框架，使它们可以在训练期间动态使用，该框架可以探索新的结构化损失函数并结合各种序列级损失函数使用剪枝和回退等方法，在字短语的潜在分解学习方面具有很大的优势，同时提出了一种卷积 WFST 层，可用作传统卷积层的替代，用于手写识别和语音识别的实验中表现良好。

Oct, 2020

提出了一种新方法 -- 神经 - FST 级语言模型（NFCLM），它将神经网络语言模型（NNLM）和有限状态转换器（FST）结合起来用于端到端语音识别，这种方法通过背景 NNLM 模拟通用背景文本和称为 FST 的一系列特定领域实体 。

Jan, 2022

一项关于 seq2seq 神经架构中结构变换的结构性归纳偏差的研究，通过将 Transformer 预训练来模拟有限状态转换器（FSTs），说明了如何在少量数据上实现系统性泛化和 FST 样任务的少样本学习。

Oct, 2023

本文提出一种基于有限状态转换器的键盘输入解码模型，通过借鉴语音识别的实践经验，旨在满足移动设备键盘输入的严格内存及延迟要求，并且支持文字解码、自动纠正、单词补全和下一个词预测等本文未涉及的功能，并演示了新的 UX 特性，例如后置纠正，并概述了该解码器如何支持个性化和情境化的高级功能。

Apr, 2017

本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

Sep, 2016

本文提出了一种基于 WFST 框架的 RNN-T 损失简化开发的方案，并介绍了两种基于 WFST 的 RNN-T 实现，通过引入 W-RNNT 损失的示例说明了可扩展性优势，最终展示了 NeMo 工具包中所有实现的 RNN-T 损失。

Mar, 2023

该研究提出了一种基于加权有限状态转换器和神经语言模型的混合方法，以解决文本归一化的上下文依赖性问题。

Mar, 2022

使用 Transformer 神经自回归流（T-NAFs）通过注意力掩码将每个随机变量的维度视为单独的输入令牌，取得了 UCI 基准数据集上与 NAFs 和 B-NAFs 相媲美甚至更好的实验结果，同时使用数量级较少的参数而无需合成多个流。

Jan, 2024

通过模仿学习，使用神经过渡型字符串转换器来进行形态学任务，如词形生成和词形归一化。采用简单的专家策略来消除对字符对齐器或热启动的需求，并在多个基准测试中实现了强大和最先进的性能。

Aug, 2018

通过研究一种合成任务中的自回归 Transformer 模型，我们揭示了逐步推理的机制，并发现了在该任务中观察到的几个现象：（i）逐步推理推理间隔；（ii）模型生成中多样性与准确性之间的权衡；（iii）模型输出的简洁偏见；以及（iv）上下文示例中的组合概括和原位偏见。这项工作引入了一个基于合成框架的研究逐步推理，并提供了可奠定对该现象更深入理解基础的机制性假设。

Feb, 2024