本文通过实证研究生成顺序来探讨机器翻译的效果，发现对于英德翻译任务，以字母和最短优先等方式生成的效果相当于标准 Transformer 生成的效果，提出了不必严格遵循从左到右的翻译方式。而对于英中翻译任务，由于语言对齐度低，生成的效果则对生成顺序更加敏感。
Oct, 2019
提出使用序列生成的方法来解决从无向神经序列模型（如 BERT）中生成序列的问题，并将其与定向的序列模型进行统一，从而能够使用原来专门为定向序列模型开发的解码算法在无向序列模型中进行机器翻译。在 WMT'14 英德翻译任务上，提出的方法取得了类似于线性时间翻译结果的恒定时间结果，并且与最先进的方法相媲美。
May, 2019
本文使用递归二叉树模型，提出了一种用于生成文本的框架，能够训练模型采用非单调生成方式，模型能够直接学习适宜的生成次序，且不需要额外的标注。文章利用模拟学习的方法，从模仿 Oracle 到加强自己的喜好，达到了无需预定生成顺序的文字生成，同时达到了与传统的从左到右生成相当的性能。
Feb, 2019
这篇研究通过一种新颖的双通路语言模型研究了单词生成顺序对模型质量的影响，发现先生成功能词，再生成内容词的策略最为有效。
Aug, 2018
该研究提出了一种无监督、可并行学习的语言模型生成算法，使用置换矩阵表示自回归顺序，并通过多步生成式注意力将其作为目标顺序进行训练，并在语言建模任务中获得了有竞争力或者优秀的表现。
Oct, 2021
本文比较了几种语言模型，提出了一种新的基于注意力机制的神经模型，用于词序任务，在德语数据集上性能显著优于现有模型。作者还描述了一种基于 LM 的词序搜索策略，并在英文 Penn Treebank 数据集上报告了结果。最佳模型设置在速度和质量方面都优于之前的研究成果。
Aug, 2017
研究人员提出了一种基于训练有素的神经网络的文本生成模型，以便从结构化数据中（例如表格）生成自然文本，该模型能够捕捉不同字段之间的关系，以生成更流畅的文本。
Sep, 2017
通过改变任务指令在输入句子之后的位置，我们提出了一种增强大型语言模型的指令遵循功能的方法，该方法可以显著改善条件序列生成的零样本性能。
Aug, 2023
本文介绍了一种新的重排序方法，利用神经网络和基于依存性的嵌入来预测两个源单词之间的依存关系，以确定翻译的单词顺序，实现了在中英翻译中统计显著的 0.57 BLEU 分数的提高。
Feb, 2017
提出实现可解释的神经机器翻译（NMT）的方法，具体包括改变输出表示方式，提出新的 NMT 方案以通过源句子步进式走向生成目标句子，通过设定目标句子标记和移动目标端写入头来模拟单词重排序。与许多现代神经模型相比，我们的系统发出明确的单词对齐信息，可以提高可解释性。与最近的变压器架构在日英和葡英上相比，我们的技术可以在 BLEU 得分方面优于普通文本系统，并且在西班牙 - 英语上的 BLEU 得分相差不到 0.5。