通过错误曝光和一致性正则化的训练方法，研究中提出了解决条件掩码语言模型 (CMLM) 在训练和推断之间数据分布差异的问题，并在五个翻译基准上实验，取得了相对基线模型平均 0.68 和 0.40 BLEU 得分的改进，同时我们的 CMLMC-EECR 在与 Transformer 相比的翻译质量上达到了最佳表现，实验结果验证了我们方法的有效性。

Feb, 2024

本文介绍了一种简单而有效的自适应遮盖策略，用于增强解码器的细化能力和简化编码器优化，证明该方法在多任务序列生成中超越了强大的 CMLM 模型，在机器翻译任务中获得了最先进的性能，并在至少 2.2 倍的加速下比 AR Transformer 实现了更好的性能。

Mar, 2023

应用现有子词规范化方法 (Kudo,2018;Profilkov et al., 2020) 对预训练的多语言表示进行微调，通过多视角子词规范化（MVR）方法增强跨语言转移的有效性，同时改善标准分词算法的效果，提高多语种基准测试 (XTREME) 的一致性改进 2.5 个点。

Mar, 2021

MuSR 是一种支持 220 多种语言的全能多语种句子表示模型，通过使用数十亿个英文为中心的平行语料库，采用使用跨语言一致性规则化技术的多语言 NMT 框架，以训练多语言 Transformer 编码器，并采用辅助 Transformer 解码器，实现了多语言相似性搜索和双文本挖掘任务，表现优于由 148 个独立的多语种句子编码器组成的 LASER3。

Jun, 2023

本文提出通过在 NAT 模型的训练过程中引入两个辅助正则化项来提高解码器的隐藏表示质量，以解决重复和不完整翻译的问题，并在几个基准数据集上进行了广泛实验，表明正则化策略是有效的，可以显著提高 NAT 模型的准确性和效率。

Feb, 2019

本文介绍了一种新的神经机器翻译数据增强方法，可以在语言内外强制实现更强的语义一致性。结果表明，条件掩蔽语言模型是一种生成上下文相关单词分布的有效技术，并集成了软词替换的思想，以增强数据多样性，加强语义一致性。该方法在四个规模不同的翻译数据集上进行的实验结果，展示了更真实的数据增强和更好的翻译质量，相对于强和最新的工作，我们的方法一致实现了最佳性能，并相对于基线改进了高达 1.90 BLEU 分数。

Sep, 2022

提出一种称为 RecoverSAT 的半自回归模型，用于非自回归神经机器翻译，其将翻译分成段并同时生成，同时每个段是逐个生成记号来预测的，通过动态确定段长度并删除重复部分，能够解决重复和缺失记号的多模态问题。与相应的自回归模型相比，该模型在保持相当性能的同时，实现了 4 倍以上的加速。

Jun, 2020

本文介绍了一种名为条件遮蔽语言建模（CMLM）的新型训练方法，用于在大规模未标记的语料库上有效地学习句子表示。CMLM 通过在编码相邻句子的向量上进行条件处理，将句子表示学习整合到 MLM 训练中。我们的英语 CMLM 模型在 SentEval 上取得了最先进的性能，并且胜过使用监督信号学习的模型。作为完全无监督的学习方法，CMLM 可以方便地扩展到广泛的语言和领域。我们发现，与位文检索（BR）和自然语言推断（NLI）任务共同训练的多语言 CMLM 模型在跨语言语义搜索等方面比以前最先进的多语言模型的基准模型有了很大的提高，例如改进了基准模型 10％。我们探索了学习表示的相同语言偏见，并提出了一种简单的，基于模型的方法来从表示中删除识别语言的信息，同时仍保留句子语义。

Dec, 2020

本研究提出一种新的潜变量建模方法，名为 LadderNMT，并通过在非自回归神经机器翻译中的实验结果展示了其在跨语言翻译任务中显著提高翻译质量的优势。该方法基于双重重建视角和先进的分层潜变量建模方法，共享两种语言的潜空间，以减轻或解决了以前方法中存在的多模态问题，参数过多，无法获取全部输入信息的缺点。

May, 2023

本论文提出了一种针对非自回归机器翻译的多粒度优化方法，利用反向传播集成不同粒度的翻译段的模型行为反馈，实现在 WMT 基准测试集上超越对比模型，且在 WMT'16 En-Ro 上实现了最佳性能，在 WMT'14 En-De 上实现了高竞争的结果。

Oct, 2022