本文介绍了一种利用掩码语言建模来训练非自回归机器翻译模型的方法，并通过对多个数据集的实验验证，证明该方法在翻译质量和速度方面都优于现有的非自回归翻译模型，并且接近于左到右的变换器模型。

Apr, 2019

本文介绍了一种简单而有效的自适应遮盖策略，用于增强解码器的细化能力和简化编码器优化，证明该方法在多任务序列生成中超越了强大的 CMLM 模型，在机器翻译任务中获得了最先进的性能，并在至少 2.2 倍的加速下比 AR Transformer 实现了更好的性能。

Mar, 2023

通过使用 CTC loss 进行微调 PMLM 模型、采用 MASK 插入方案进行上采样、使用嵌入蒸馏方法进一步提高性能，使得非自回归模型获得了更好的翻译质量和加速，并在多个数据集上优于自回归模型

Jun, 2023

本文介绍了一种 CeMAT 方法，即一种在双语和单语语料库上进行预训练的条件掩码语言模型，其中包括双向解码器，通过该方法可以在低资源及高资源语言下分别提高 14.4 BLEU 和 7.9 BLEU 及能显著提高 Autoregressive NMT 的性能。此外，本文还首次在 NMT 任务上使用了统一预训练模型，并提供相关数据和模型。

Mar, 2022

通过错误曝光和一致性正则化的训练方法，研究中提出了解决条件掩码语言模型 (CMLM) 在训练和推断之间数据分布差异的问题，并在五个翻译基准上实验，取得了相对基线模型平均 0.68 和 0.40 BLEU 得分的改进，同时我们的 CMLMC-EECR 在与 Transformer 相比的翻译质量上达到了最佳表现，实验结果验证了我们方法的有效性。

Feb, 2024

该研究提出了一种新的训练方法 SMART，通过模仿 mask-predict 的半自回归行为，使得训练样本包含模型预测作为输入，以进一步提高使用 mask-predict 解码的翻译质量，有效缩小了半自回归和全自回归模型之间的性能差距。

Jan, 2020

本文介绍了一种新的神经机器翻译数据增强方法，可以在语言内外强制实现更强的语义一致性。结果表明，条件掩蔽语言模型是一种生成上下文相关单词分布的有效技术，并集成了软词替换的思想，以增强数据多样性，加强语义一致性。该方法在四个规模不同的翻译数据集上进行的实验结果，展示了更真实的数据增强和更好的翻译质量，相对于强和最新的工作，我们的方法一致实现了最佳性能，并相对于基线改进了高达 1.90 BLEU 分数。

Sep, 2022

本研究介绍了一种新的局部自回归翻译机制，将其应用于非自回归翻译模型中，以捕捉目标输出的局部依赖关系。同时，设计出一种高效的合并算法来对齐和合并输出序列。我们在 5 个翻译任务上进行了实证结果，表明相比 CMLM，我们的方法在更少的译码迭代次数下取得了可比或更好的性能，加速了 2.5 倍。进一步的分析表明，我们的方法减少了重复翻译，并且在较长的句子上表现更好。

Nov, 2020

本研究提出了两种不自回归变换器结构以解决自动语音识别中的推理计算成本问题，在训练期间，输入的标记被特殊的掩码标记随机替换，网络需要考虑未被掩盖的上下文和语音输入以预测与那些掩码标记相对应的标记。结果表明，该模型能够支持不同的解码策略，特别是在 Aishell 上，该方法的性能超过了 Kaldi ASR 系统，与最先进的自回归变换器的性能相当，而且速度提高了 7 倍。

Nov, 2019

本文对非自回归机器翻译模型进行了改进，通过使用额外的特征来提高连接时序分类（CTC）下的模型表达流畅性，并将其与波束搜索解码相结合，仍能保持高速解码能力，具有与自回归模型相媲美的 BLEU 分数。

Apr, 2020