本文提出使用离散的翻译词典，通过使用NMT模型的attention向量选择需要聚焦的源单词的词典概率，从而缓解NMT在翻译低频词汇时出现的错误，并进行了两种方法的实验，结果显示翻译质量（BLEU）得分有明显提高。
Jun, 2016
本文提出了一种新颖的领域自适应方法——“混合微调”，用于神经机器翻译。该方法将微调和多领域 NMT 两种现有方法相结合，并在一个混合了内外领域语料库的平行语料库上对NMT模型进行微调，然后通过增加人工标记来指示特定领域对所有语料库进行增强。我们在实证基础上比较了我们的方法与微调和多领域方法，讨论了它的优点和缺点。
Jan, 2017
本研究提出了一种简单而有效的适应NMT模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。
Sep, 2019
通过引入 Token Drop 以及两种自监督目标，提升神经机器翻译的泛化能力和避免过拟合，实验结果表明该方法在中英和英罗马尼亚基准数据集上表现显著优于强Transformer基线模型。
Oct, 2020
本文提出了一种新的双语互信息（BMI）自适应目标函数，通过从双语视角度量每个目标单词的学习难度并相应地分配自适应权重来改进基于令牌级别的自适应训练，实验结果表明与变压器基线和以前的令牌级别自适应训练方法相比，本方法优越性明显，并能够改善词汇多样性。
May, 2021
本文提出一种基于词频感知的令牌级对比学习方法，旨在从表示学习角度解决现代神经机器翻译系统中低频词预测的挑战。经实验证明，所提出的方法不仅可以显著提高翻译质量，还可以增加词汇多样性并优化词表示空间。与相关的自适应训练策略相比，该方法在不牺牲精度的前提下提高了低频词汇量的召回率稳健性。
Dec, 2021
本文提出了一种无需词汇表的神经分词器，通过处理多语言语料库中的独特单词来预训练基于字符的分词器，从而广泛增加语言间的单词多样性，进而克服了子词分词存在的一些问题，如无法进行端到端任务学习，适应性不足，以及在低资源语言中表现欠佳等，实验证明该神经分词器能显著提升多语言（NLI）和混合语言情感分析等任务的性能并且具有较强的鲁棒性。
Apr, 2022
本研究分析研究了多语言经过语言不平衡的训练语料库的分词器，并发现在训练过程中，UNK率和接近字符级别的特征对于下游任务的性能具有预警作用。同时，该研究还将分词器训练的语言采样与模型训练的采样区分开，并指出模型对后者更为敏感。
本文对不同的子词分词策略、词汇生成方法及Fine-tuning进行了系统的实证研究，旨在找到一种最佳的Fine-tuning领域特定模型的设置，实验结果表明最好的模型达到了比基线模型6个BLEU分数的提升效果。
Mar, 2023
该研究探讨了子词分词在神经语言模型和机器翻译系统中的应用，并提出了一种基于Huffman编码的分词方法，表明非常高频的单词分别出现，是达到比贪心算法高的分数的一个相对较重要的因素。
Jun, 2023