本研究对非自回归模型及自回归模型在机器翻译中的效率进行了探究，并提出了对非自回归模型的进一步实验和评测。

May, 2022

通过结合预训练、知识蒸馏和先进的非自回归训练技术，如 glancing training 和 non-monotonic latent alignments，基于 CTC 的非自回归模型在直接语音到语音翻译中实现了与自回归模型相当的翻译质量，并提升了 26.81 倍的解码速度。

Jun, 2024

本文旨在改进非自回归方法在机器翻译方面的表现，探讨了多种技术提升其翻译质量和效率，并将其在四个翻译任务上进行了评估，考虑到 tokenized BLEU 的使用不一致，我们贡献了标准化的 BLEU、chrF++ 及 TER 得分，并将代码开源集成于 fairseq 中以便重现研究结果。

May, 2022

提出基于 CTC 的非自回归结构，可用于神经机器翻译，相比其他的非自回归结构，本文所提出的模型可以进行端到端的训练，并在 WMT 英罗马尼亚和英德数据集上实现了可比的翻译质量及较大的速度提升。

Nov, 2018

利用大规模单语语料，基于知识蒸馏的方式提升非自回归神经机器翻译模型的效果，并成功地在 WMT14 En-De 和 WMT16 En-Ro 新闻翻译任务上验证了模型的性能提升。

May, 2020

提出一种多任务学习框架，加强非自回归神经机器翻译模型的学习信号并改进其准确性。实验证明该方法可以在不增加解码开销的情况下稳定提升多个非自回归基准模型的准确性。

Nov, 2022

本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

Apr, 2022

通过使用 CTC loss 进行微调 PMLM 模型、采用 MASK 插入方案进行上采样、使用嵌入蒸馏方法进一步提高性能，使得非自回归模型获得了更好的翻译质量和加速，并在多个数据集上优于自回归模型

Jun, 2023

本研究提出了一种新颖的通用协作学习方法 DCMCL，在这种方法中，自回归模型（AR）和非自回归模型（NAR）被视为协作者，通过令牌级相互学习和序列级对比学习，在两种模型之间层次化地利用双向语境信息。广泛的实验结果表明，所提出的 DCMCL 方法可以同时改进 AR 和 NAR 模型的性能，分别提高了 1.38 和 2.98 个 BLEU 分数，并在 AR 和 NAR 解码方面也优于当前最佳统一模型，分别提高了 0.97 个 BLEU 分数。

Feb, 2024

该论文提出了一种新的方法，通过利用隐藏状态和单词对齐的提示，帮助训练非自回归翻译模型，实现了比以前的非自回归翻译模型更显着的改进，甚至可以与强大的基于 LSTM 的自回归翻译模型基线相媲美但在推理速度上快一个数量级。

Sep, 2019