本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

Dec, 2020

本文提出了两种增强解码器输入以提高 NAT 模型的翻译准确性的方法，并表明这些方法在 WMT14 英德任务和 WMT16 英罗马任务中比 NAT 基线高出 $5.11$ BLEU 分数和 $4.72$ BLEU 分数。

Dec, 2018

本研究提出了一种训练曲线，通过任务级别的课程学习（TCL-NAT）将模型训练从更简单的自回归翻译（AT）任务平滑转移到困难的非自回归翻译（NAT）任务，其中引入了中间任务 - 半自回归翻译（SAT），可以通过调整参数 k，平衡翻译速度和准确性，达到在四个数据集上显著提高翻译准确性的效果。

Jul, 2020

本文从文档级机器翻译的角度全面探讨了典型的非自回归翻译模型，实验证明尽管非自回归模型可以显著加速文档的文本生成，但是它们在文档水平上的表现并不如在句子级上的表现，作者提出了一个新的设计来弥补这种性能差距，重视句子级别的对齐和多模态问题，在此基础上，大大缩小了性能距离。 但需要进一步研究以完全优化其性能。

May, 2023

本研究介绍了一种新的局部自回归翻译机制，将其应用于非自回归翻译模型中，以捕捉目标输出的局部依赖关系。同时，设计出一种高效的合并算法来对齐和合并输出序列。我们在 5 个翻译任务上进行了实证结果，表明相比 CMLM，我们的方法在更少的译码迭代次数下取得了可比或更好的性能，加速了 2.5 倍。进一步的分析表明，我们的方法减少了重复翻译，并且在较长的句子上表现更好。

Nov, 2020

本文提出了一种使用序列级训练目标来训练非自回归神经机器翻译模型的方法，通过几种为非自回归定制的新型强化算法，基于 BLEU 等序列级评价指标优化 NAT 模型的训练；介绍了一种基于 Bag-of-Ngrams（BoN）差异的 NAT 模型的新型训练目标；并通过三阶段训练策略将这两种方法结合起来应用，验证了该方法在多项任务中的鲜明表现。

Jun, 2021

本文提出了基于仿真学习的非自回归机器翻译框架，该框架仍然具有快速翻译速度但与其自回归对应方法相比具有可比较的翻译性能。通过对 IWSLT16、WMT14 和 WMT16 数据集进行实验，发现我们提出的模型在保持翻译质量可比的同时，比自回归模型有更快的翻译速度。在推断时并行采样句子长度，WMT16 Ro→En 的 BLEU 值达到 31.85，而 IWSLT16 En→De 的 BLEU 值为 30.68。

Jun, 2019

本文介绍了一种针对非自回归神经机器翻译（NAT）多模问题的解决方案：引入一种重新表述器 (rephraser) 来为 NAT 提供更好的训练目标，并通过强化学习优化该目标，从而提高 NAT 翻译质量，在主要 WMT 基准和 NAT 基线上实验表明相比原始 NAT 的翻译质量有了明显的提高，且最优实验方案的推理效率是自回归 Transformer 的 14.7 倍。

Nov, 2022

通过多任务学习和编码器共享，将自回归机器翻译的知识转移到非自回归机器翻译模型中，实现翻译质量的提升。

Oct, 2020

本文提出通过在 NAT 模型的训练过程中引入两个辅助正则化项来提高解码器的隐藏表示质量，以解决重复和不完整翻译的问题，并在几个基准数据集上进行了广泛实验，表明正则化策略是有效的，可以显著提高 NAT 模型的准确性和效率。

Feb, 2019