本文提出了两种强有力的方法，CTC 和 Imputer，用于非自回归机器翻译，模拟了动态规划中的潜在对齐。我们重新审视了 CTC 和 Imputer 模型，并证明了一个简单的 CTC 模型可以实现单步非自回归机器翻译的最新成果，与之前的工作相反。另外，我们还将 Imputer 模型适应于非自回归机器翻译，并证明只需 4 个生成步骤，Imputer 即可匹配自回归 Transformer 基准的性能。

Apr, 2020

本论文提出了一种针对非自回归机器翻译的多粒度优化方法，利用反向传播集成不同粒度的翻译段的模型行为反馈，实现在 WMT 基准测试集上超越对比模型，且在 WMT'16 En-Ro 上实现了最佳性能，在 WMT'14 En-De 上实现了高竞争的结果。

Oct, 2022

通过使用 CTC loss 进行微调 PMLM 模型、采用 MASK 插入方案进行上采样、使用嵌入蒸馏方法进一步提高性能，使得非自回归模型获得了更好的翻译质量和加速，并在多个数据集上优于自回归模型

Jun, 2023

本文提出了两种增强解码器输入以提高 NAT 模型的翻译准确性的方法，并表明这些方法在 WMT14 英德任务和 WMT16 英罗马任务中比 NAT 基线高出 $5.11$ BLEU 分数和 $4.72$ BLEU 分数。

Dec, 2018

本文提出了一种使用序列级训练目标来训练非自回归神经机器翻译模型的方法，通过几种为非自回归定制的新型强化算法，基于 BLEU 等序列级评价指标优化 NAT 模型的训练；介绍了一种基于 Bag-of-Ngrams（BoN）差异的 NAT 模型的新型训练目标；并通过三阶段训练策略将这两种方法结合起来应用，验证了该方法在多项任务中的鲜明表现。

Jun, 2021

探讨使用潜在对齐目标训练自回归机器翻译模型时遇到的困难及其理论解释。

Apr, 2021

本文提出通过训练 NAT 最小化模型输出和参考句子之间的 N-Gram 差异来促进 NAT 捕捉目标方面的序列依赖性，并与翻译质量相关。在三个翻译任务上验证了我们的方法，结果显示我们的方法在 WMT14 En<->De 和 WMT16 En<->Ro 上比 NAT 基线大约 5.0 和 2.5 个 BLEU 分数。

Nov, 2019

本文提出了一种新的方法，使用模糊对齐分数来训练基于有向无环图结构的非自回归翻译模型，从而解决多模态问题，在主要 WMT 基准数据上取得了显著的翻译性能提升和置信度提高，为非自回归翻译模型的训练提供了一个新的方向。

Mar, 2023

本研究介绍了一种新的局部自回归翻译机制，将其应用于非自回归翻译模型中，以捕捉目标输出的局部依赖关系。同时，设计出一种高效的合并算法来对齐和合并输出序列。我们在 5 个翻译任务上进行了实证结果，表明相比 CMLM，我们的方法在更少的译码迭代次数下取得了可比或更好的性能，加速了 2.5 倍。进一步的分析表明，我们的方法减少了重复翻译，并且在较长的句子上表现更好。

Nov, 2020

本文提出了基于仿真学习的非自回归机器翻译框架，该框架仍然具有快速翻译速度但与其自回归对应方法相比具有可比较的翻译性能。通过对 IWSLT16、WMT14 和 WMT16 数据集进行实验，发现我们提出的模型在保持翻译质量可比的同时，比自回归模型有更快的翻译速度。在推断时并行采样句子长度，WMT16 Ro→En 的 BLEU 值达到 31.85，而 IWSLT16 En→De 的 BLEU 值为 30.68。

Jun, 2019