本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

May, 2016

本文提出了一种新的方法，通过训练步骤来鼓励神经机器翻译满足词汇约束，其主要包括训练数据扩充、约束词汇掩码和交叉熵损失函数修改三个方面，实验表明该方法在 BLEU 分数和生成约束词汇的数量方面均优于其他算法。

Jun, 2021

本文研究视觉 - 语言建模，通过创建新的多模态任务和分析预训练数据的质量，发现预训练数据的质量和多模态预训练目标对模型的性能影响重要。

Oct, 2022

本文提出了一种新的神经机器翻译方法，可以考虑语言的词形属性，基于无监督的形态学习在任何速率下减少给定输入语料库的词汇量，并在土耳其语 - 英语 NMT 任务中通过比较生成输出的语义和句法特性来验证方法的效果，与传统词汇量缩减技术相比，显著提高了 2.3 BLEU 分数，表现更好。

Jul, 2017

该研究提出了一种直接将词汇约束集成到神经机器翻译模型中的方法，通过将词汇约束向量化为连续的键和值，并利用 NMT 模型的注意力模块来表征词汇约束对，并在四种语言对上表明了该方法的优越性。

Mar, 2022

本文提出了一个基于规则的算法，用于解决印尼语作为一个配对语言的神经机器翻译系统中，由于复合词的形态构成导致词汇量爆炸的罕见单词问题，该算法通过将单词转化为其词根和附加的语素来保留其含义和上下文，实验表明，该方法实用性强，可以显著减少语料库数据的需求，并且相对于不使用此技术的类似神经机器翻译系统，在英印翻译上提供了高达 5 个 BLEU 点的改进。

Jul, 2022

本文探讨了英文到捷克语神经机器翻译中的负面词汇限制。我们比较了基于修改解码过程或训练数据的各种方法，并在改写和基于反馈的翻译改进两项任务上进行了对比。我们还研究了这些方法在多大程度上 “回避” 了向模型提供的限制（通常以字典形式呈现），通过产生给定限制的不同的表面形式来绕过约束。我们提出了一种通过训练受到词干化负面约束的方法，以抵消模型诱导单词的多种表面形式的能力，从而改善了限制效果，尽管问题在许多情况下仍然存在。

Aug, 2023

本文提出使用离散的翻译词典，通过使用 NMT 模型的 attention 向量选择需要聚焦的源单词的词典概率，从而缓解 NMT 在翻译低频词汇时出现的错误，并进行了两种方法的实验，结果显示翻译质量（BLEU）得分有明显提高。

Jun, 2016

本文介绍了关于翻译模型的研究，尝试通过使用上下文和嵌入式选择方法对其进行改进，可以大幅度地提高神经翻译模型的效率和速度。

Oct, 2016

本文提出了一种通过分层潜在变量模拟词态变化过程的方法，通过组合两个潜在表示（一个连续的表示和一组（近似）离散特征），逐个字符生成单词，从而使神经机器翻译在三种形态丰富的语言中的精度和资源利用率得到了提高。

Oct, 2019