本论文提出了一种针对非自回归机器翻译的多粒度优化方法，利用反向传播集成不同粒度的翻译段的模型行为反馈，实现在 WMT 基准测试集上超越对比模型，且在 WMT'16 En-Ro 上实现了最佳性能，在 WMT'14 En-De 上实现了高竞争的结果。

Oct, 2022

本文提出了一种基于 DA-Transformer 模型和从模型分布中采点的对比约束的非自回归 Transformer 模型，通过这种方式减轻模态学习的难度，取得了在机器翻译，文本摘要和改写等多个基准数据集中显著的最新非自回归 Transformer 模型的性能。

May, 2023

本文提出了一种新的训练目标，名为非自回归翻译（NAT）模型的无序交叉熵（OaXE），通过改善标准交叉熵损失来改善字词重排序的影响，并解决了 NAT 中的严重多模性问题，有效地提高了翻译性能，在 WMT 基准测试中取得了最新的最佳效果。

Jun, 2021

使用 ngram-oaxe loss 进行翻译，能够更好地模拟表达短语和句子的结构，减轻多模式及单词排序错误的影响。

Oct, 2022

本文提出了一种利用非单调潜在对齐的方法，扩展非自回归翻译模型的非单调对齐空间，进一步考虑与目标句子重叠的所有对齐，并训练潜在对齐模型以最大化非单调匹配的 F1 分数，从而提高 CTC-based 模型的翻译性能，最佳模型在 WMT14 En-De 上实现了 30.06 BLEU 的性能表现。

Oct, 2022

本文提出了一种使用序列级训练目标来训练非自回归神经机器翻译模型的方法，通过几种为非自回归定制的新型强化算法，基于 BLEU 等序列级评价指标优化 NAT 模型的训练；介绍了一种基于 Bag-of-Ngrams（BoN）差异的 NAT 模型的新型训练目标；并通过三阶段训练策略将这两种方法结合起来应用，验证了该方法在多项任务中的鲜明表现。

Jun, 2021

本文提出了一种新的针对非自回归机器翻译模型的训练方法 aligned cross entropy (AXE)，该方法通过使用可微动态规划来实现最佳单调对齐，明显改善了条件掩码语言模型在主要 WMT 基准测试中的表现并创下了非自回归模型的新记录。

Apr, 2020

本文证明 non-autoregressive translation 偏爱学习细粒度语言知识，并提出了逐步加深语言粒度的 multi-granularity training 方法，实验结果表明该方法能够提高短语翻译准确率、模型排序能力，并且更加确定的细粒度语言知识能进一步提升翻译质量。

Jun, 2021

本文从文档级机器翻译的角度全面探讨了典型的非自回归翻译模型，实验证明尽管非自回归模型可以显著加速文档的文本生成，但是它们在文档水平上的表现并不如在句子级上的表现，作者提出了一个新的设计来弥补这种性能差距，重视句子级别的对齐和多模态问题，在此基础上，大大缩小了性能距离。 但需要进一步研究以完全优化其性能。

May, 2023

该研究探讨了非自回归翻译方法中因最近度高而导致的限制条件处理不良的问题，并提出一种基于 source-side context 的插件算法，即 Aligned Constrained Training，来提高翻译品质，尤其针对一些不常见的限制条件。

Apr, 2022