使用变分推理发现非单调自回归顺序
本文提出了基于学习的排序方案来解决自回归模型中的图生成和排序问题，并通过实验证明该方案在各种图生成任务上的有效性，鼓舞未来工作进一步探索和发展学习排序方案。
May, 2023
文中提出了一种新的基于变分自编码器的概率生成模型，该模型使用新颖的方法确定潜在变量先验和强制序数单位，并用于有监督、无监督和半监督学习以及标称和序数分类，实验结果表明该模型在这两方面的分类任务中表现较优。
Dec, 2018
通过强化学习训练预训练的无向翻译模型的生成顺序，从而实现了比从左到右或学习自 Mansimov 等人 (2019) 学习的顺序得到的输出 BLEU 分数更高的翻译结果。
Dec, 2021
这篇论文提出了一种技术，可以确保生成式语言模型在给定的子序列集合上不受顺序相关性的影响，从而消除顺序相关性。结果表明，该方法对预期的准确性影响较小，而且可以应用于任何基于 Transformer 的大语料库模型，对文本生成没有影响，进一步讨论了通过修改输入表示可以获得其他强大的 LLM 性能保证的可能性。
Jun, 2024
本文使用递归二叉树模型，提出了一种用于生成文本的框架，能够训练模型采用非单调生成方式，模型能够直接学习适宜的生成次序，且不需要额外的标注。文章利用模拟学习的方法，从模仿 Oracle 到加强自己的喜好，达到了无需预定生成顺序的文字生成，同时达到了与传统的从左到右生成相当的性能。
Feb, 2019
该论文提出了一种名为 InDIGO 的新型解码算法，该算法通过插入操作支持任意顺序的序列生成，并使用 Transformer 实现。实验结果显示，InDIGO 能够生成遵循任意顺序的序列，同时与传统的从左到右生成方法相比表现出竞争力甚至更好的性能。
Feb, 2019
本文通过实证研究生成顺序来探讨机器翻译的效果，发现对于英德翻译任务，以字母和最短优先等方式生成的效果相当于标准 Transformer 生成的效果，提出了不必严格遵循从左到右的翻译方式。而对于英中翻译任务，由于语言对齐度低，生成的效果则对生成顺序更加敏感。
Oct, 2019
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。
Dec, 2013