本文提出了一种新的训练目标，名为非自回归翻译（NAT）模型的无序交叉熵（OaXE），通过改善标准交叉熵损失来改善字词重排序的影响，并解决了 NAT 中的严重多模性问题，有效地提高了翻译性能，在 WMT 基准测试中取得了最新的最佳效果。

Jun, 2021

本文提出了一种新的针对非自回归机器翻译模型的训练方法 aligned cross entropy (AXE)，该方法通过使用可微动态规划来实现最佳单调对齐，明显改善了条件掩码语言模型在主要 WMT 基准测试中的表现并创下了非自回归模型的新记录。

Apr, 2020

该论文针对非自回归翻译模型中存在的语法多模式问题进行了系统研究。作者提出了连接时序分类（CTC）和无序交叉熵（OAXE）损失函数来处理不同范围的语法多模式，并设计了一种新的损失函数来更好地处理实际世界数据集中的复杂语法多模式。

Jul, 2022

本论文提出了一种针对非自回归机器翻译的多粒度优化方法，利用反向传播集成不同粒度的翻译段的模型行为反馈，实现在 WMT 基准测试集上超越对比模型，且在 WMT'16 En-Ro 上实现了最佳性能，在 WMT'14 En-De 上实现了高竞争的结果。

Oct, 2022

本文提出通过训练 NAT 最小化模型输出和参考句子之间的 N-Gram 差异来促进 NAT 捕捉目标方面的序列依赖性，并与翻译质量相关。在三个翻译任务上验证了我们的方法，结果显示我们的方法在 WMT14 En<->De 和 WMT16 En<->Ro 上比 NAT 基线大约 5.0 和 2.5 个 BLEU 分数。

Nov, 2019

本文提出了一种使用序列级训练目标来训练非自回归神经机器翻译模型的方法，通过几种为非自回归定制的新型强化算法，基于 BLEU 等序列级评价指标优化 NAT 模型的训练；介绍了一种基于 Bag-of-Ngrams（BoN）差异的 NAT 模型的新型训练目标；并通过三阶段训练策略将这两种方法结合起来应用，验证了该方法在多项任务中的鲜明表现。

Jun, 2021

本文介绍了一种针对非自回归神经机器翻译（NAT）多模问题的解决方案：引入一种重新表述器 (rephraser) 来为 NAT 提供更好的训练目标，并通过强化学习优化该目标，从而提高 NAT 翻译质量，在主要 WMT 基准和 NAT 基线上实验表明相比原始 NAT 的翻译质量有了明显的提高，且最优实验方案的推理效率是自回归 Transformer 的 14.7 倍。

Nov, 2022

该研究探讨了非自回归翻译方法中因最近度高而导致的限制条件处理不良的问题，并提出一种基于 source-side context 的插件算法，即 Aligned Constrained Training，来提高翻译品质，尤其针对一些不常见的限制条件。

Apr, 2022

本文证明 non-autoregressive translation 偏爱学习细粒度语言知识，并提出了逐步加深语言粒度的 multi-granularity training 方法，实验结果表明该方法能够提高短语翻译准确率、模型排序能力，并且更加确定的细粒度语言知识能进一步提升翻译质量。

Jun, 2021

本文提出通过在 NAT 模型的训练过程中引入两个辅助正则化项来提高解码器的隐藏表示质量，以解决重复和不完整翻译的问题，并在几个基准数据集上进行了广泛实验，表明正则化策略是有效的，可以显著提高 NAT 模型的准确性和效率。

Feb, 2019