使用自回归模型回答超出单步预测的复杂概率查询，包括未来事件的时机和特定事件在另一事件发生之前的可能性。通过开发一类宽泛的、高效的近似技术，对顺序模型中的边缘化进行建模。这些技术仅依赖于对预先训练的自回归模型的下一步条件分布的访问和采样，包括传统参数模型和最近的神经自回归模型。针对离散顺序模型、标记的时间点过程和随机跳跃过程，提出了具体的方法，每个方法都适用于一类明确定义的信息丰富、长程概率查询。

Mar, 2024

本文提出了一种训练程序，它基于辅助损失函数来控制潜变量所捕获的信息以及留给自回归解码器的信息，该方法可以实现任意强大的自回归解码器，达到具有潜变量的模型中最先进的定量性能，并生成定性令人信服的样本。

Nov, 2017

本文提出的一种新方法使用统一的 EM 框架共同优化 AR 和 NAR 模型，以有效地引导系统消除输出序列中的多模态，评估结果表明，该方法在机器翻译任务上实现了具有竞争力的性能，同时显著减少了推理延迟。

Jun, 2020

本文介绍了一种名为 E-ARM 的独特方法，用于训练自回归生成模型。该方法利用了 softmax 操作的额外自由度，使得自回归模型本身成为一种测量输入可能性的基于能量的模型，从而提高了自回归生成模型的效果，并减轻了暴露偏差问题和增加了时间上的一致性。

Jun, 2022

在多阶段推荐系统中，重新排名通过建模项之间的内部列表相关性发挥着关键作用。在重新排名中的关键挑战在于在排列组合空间中探索最优序列。最近的研究提出了一个生成器 - 评估器学习范式，其中生成器生成多个可行序列，评估器基于估计的列表得分选择出最佳序列。生成器是至关重要的，而生成模型非常适合生成器函数。然而，在实时工业系统中部署自回归模型是具有挑战性的。因此，我们提出了一种用于重新排名推荐的非自回归生成模型 (NAR4Rec)，旨在提高效率和效果。为了解决与稀疏训练样本和动态候选项对模型收敛的影响相关的挑战，我们引入了匹配模型。考虑到用户反馈的多样性，我们提出了一种序列级别的非可能性训练目标，以区分可行序列和不可行序列。此外，为了克服非自回归模型中关于目标项的依赖建模不足的问题，我们引入了对比解码来捕捉这些项之间的相关性。对公开可用数据集进行的大量离线实验验证了我们所提出方法与现有最先进的重新排名方法相比的卓越性能。此外，我们的方法已在拥有超过 3 亿日活跃用户的热门视频应用快手上完全部署，显著提高了在线推荐的质量，展示了我们方法的有效性和效率。

Feb, 2024

本论文研究了自回归语言模型的计算复杂度问题，并提出在自回归模型无法处理概率计算困难的问题时，采用能量模型和潜变量自回归模型等替代方案。

Oct, 2020

研究使用解码器作为全局信息捕捉的替代性结构，以改善深度变分自编码器的范围控制缺乏问题，并使用重构来证明这些结构提供了更多的全局功能。

Apr, 2020

本文提出了基于张量分解以及潜在特征的广义自回归（GAR）方法，在多保真融合问题中能够处理任意维度的输出和任意保真数据结构，并且具有良好的可扩展性和精度，同时提出了简化版的算法 CIGAR 以降低计算复杂度，经过实验验证，该方法明显优于现有的同类方法。

Jan, 2023

提出一种使用生成流的非自回归序列生成模型，以提高非自回归序列生成的效率。在三个神经机器翻译基准数据集上进行了评估，与最先进的非自回归神经机器翻译模型性能相当且几乎不随序列长度而变化。

Sep, 2019

非自回归序列模型为了减少推理时间，通常会假定每个单词的生成过程彼此独立，但这会导致结果不一致。本文提出了一种结构化推理模块，使用高效的 CRF 近似算法来建模动态转换技术，以提高翻译的一致性，并在不影响推理速度的前提下，显著提高了翻译性能。

Oct, 2019