本文提出了一种新颖的领域自适应方法——“混合微调”，用于神经机器翻译。该方法将微调和多领域 NMT 两种现有方法相结合，并在一个混合了内外领域语料库的平行语料库上对NMT模型进行微调，然后通过增加人工标记来指示特定领域对所有语料库进行增强。我们在实证基础上比较了我们的方法与微调和多领域方法，讨论了它的优点和缺点。

Jan, 2017

本文提出了一种更高效的字符级神经机器翻译解码方法，使用词和字符级别的分层解码结构，能够优化机器翻译性能并学习更长的上下文和语法依赖。

Oct, 2019

本文研究了神经机器翻译中的令牌不平衡现象，并提出采用基于目标令牌频率的目标令牌级自适应目标来训练模型，以提高翻译质量和提高翻译词汇的多样性。结果表明，与基线相比，在包含更多低频词汇的句子中，分别可以获得1.68，1.02和0.52的BLEU增益。

Oct, 2020

本文提出了一种简单有效的训练策略，通过应用掩蔽跨度预测模型， 实现了对两种语言的三个特定领域语料库在术语级和句子级翻译方面的持续改进，以解决神经机器翻译系统术语翻译的实用性和可靠性问题。

May, 2021

通过研究 NMT 模型训练过程中的能力表现，发现其在学习目标语言模型、逐词翻译和复杂重排序模式方面的能力表现与传统的 SMT 模型有明显差异，并探讨了这种理解对于优化 NMT 模型的实际应用。

Sep, 2021

综合比较多语言预训练模型的效率时，在考虑内存使用、推理速度和数据健壮性等方面，基于子词的模型仍然是许多场景下更可靠的选择，此为当前研究结果，建议未来的tokenizer-free方法在设计和评估模型时也要考虑这些因素。

Oct, 2022

通过对多种语言和实验条件下的状态-of-the-art字符-和子词级预训模型（ByT5和mT5）进行了广泛的比较，这项工作展示了前者不仅在翻译方面有效，并且在某些情况下比子词模型表现更好，特别是在训练数据有限的情况下。字符模型唯一的缺点似乎是效率低（至少慢4倍的训练和推理时间）。进一步的分析表明，字符模型能够隐含地在词或子词级别上进行翻译，从而抵消了字符级别操作的一个主要潜在弱点。

Feb, 2023

该研究探讨了子词分词在神经语言模型和机器翻译系统中的应用，并提出了一种基于Huffman编码的分词方法，表明非常高频的单词分别出现，是达到比贪心算法高的分数的一个相对较重要的因素。

Jun, 2023

在这篇论文中，我们研究了阈值词汇裁剪在字节对编码子词分词中的应用，这是一种后处理步骤，可以将罕见的子词替换为其组成的子词。尽管在机器翻译实现中建议删除罕见的子词以减小模型大小并提高模型性能，但我们的实验表明，在各种超参数设置下，词汇裁剪无法提高性能，甚至可能导致严重的性能下降。

Mar, 2024

本研究解决了低资源语言机器翻译中因依赖大量平行语料而造成的进展限制问题。通过细化领域相关数据，本文提出了一种创新方法，在零样本场景下识别可迁移领域，并评估语言特定与领域特定因素对适应有效性的影响。研究表明，在医学、法律和信息技术等专业领域，明确定义的领域数据显著提升了翻译质量，强调了其在领域迁移学习中的重要性。

Aug, 2024