该研究提出了一种基于深度状态空间模型、独立噪声源和确定性转移函数的文本生成方法，避免自回归反馈引入的系统偏差，并通过流式变分推断进行训练，实现了高度解释性的生成模型。

Jun, 2018

非自回归序列模型为了减少推理时间，通常会假定每个单词的生成过程彼此独立，但这会导致结果不一致。本文提出了一种结构化推理模块，使用高效的 CRF 近似算法来建模动态转换技术，以提高翻译的一致性，并在不影响推理速度的前提下，显著提高了翻译性能。

Oct, 2019

提出了一种基于自回归动力学模型的控制模型，分析了其在离线数据集 RL Unplugged 中的表现，证明其在策略优化中具有潜在应用。

Apr, 2021

本论文介绍了一种基于门控状态空间（GSS）的自回归序列建模方法，该方法使用自注意力来建模局部依赖关系，从而能够有效地处理长距离依赖关系，且在英语书籍、Github 源代码和 ArXiv 数学文章上的实验表明，该方法训练速度明显快于传统方法并且具有零样本推广能力。

Jun, 2022

我们考虑一个文本规划方案，提出了一种基于模型的模仿学习方法，其中包括新颖的指导网络来关注更长时间内的生成过程，改善了局部流畅性和一致语义的问题，并带来了性能上的提升。

May, 2020

非自回归模型在生成图像时具有高效生成大量图像标记、低推理延迟等特点，与自回归模型相比，其参数规模为 346M，使用一台 V100 GPU 在 1 秒内生成了一张 256×256 像素的高质量图像。

Dec, 2023

本文在自动驾驶领域中引入了 GPT 风格的下一个标记预测技术以实现运动预测的自回归，结合三个分解注意模块和不同的位置编码方式来捕捉驾驶场景中的复杂空间 - 时间和语义关系，实验结果显示该方法在 Waymo Open Motion 和 Waymo Interaction 数据集中取得了最先进的性能。

Mar, 2024

本文介绍了一种简单、有效的技巧，用于训练自回归低延迟语音增强模型，证明了该技术在不同架构和训练场景下均导致了稳定的改进。

Nov, 2022

本文提出了一种名为 GeLaTo 的方法，使用可解释的概率模型来强制进行文本生成中的词汇约束，通过使用精简的隐性马尔可夫模型控制 Generative Pre-trained Transformer 2（GPT2）的自回归生成，GeLaTo 在 constrained text generation 的 CommonGen 测试效果上大幅度击败了强大的基准模型，并为控制大型语言模型开辟了新的思路，并推动可解释的概率模型的发展。

Apr, 2023

提出一种使用生成流的非自回归序列生成模型，以提高非自回归序列生成的效率。在三个神经机器翻译基准数据集上进行了评估，与最先进的非自回归神经机器翻译模型性能相当且几乎不随序列长度而变化。

Sep, 2019