本文研究了神经机器翻译中低资源语种的问题，通过在 IWSLT14 数据集上的实验发现，在优化超参数设置的情况下，Transformer 模型在低资源情况下的翻译质量可以提高 7.3 个 BLEU 分数。

Nov, 2020

该研究旨在研究机器翻译中 Transformer 模型在低资源语言对（英爱尔兰语和英马拉地语）中的效果，并通过优化超参数和子词模型类型来显著提高低资源语言对的翻译质量。此外，还引入了 adaptNMT 和 adaptMLLM 两个开源应用程序，简化了神经机器翻译模型的开发、微调和部署过程，使其更容易被开发人员和翻译人员使用。

Mar, 2024

该研究评估了超参数设置对基于 Transformer 的神经机器翻译在英语 - 爱尔兰语低资源对中的质量的影响。研究中使用了基于 Byte Pair Encoding (BPE) 和 unigram 方法的 SentencePiece 模型。通过修改层数、评估注意力机制中最佳头数、使用不同的正则化技术等变体，发现使用 16k BPE 子词模型优化的 Transformer 模型表现最佳，相较于基线递归神经网络（RNN）模型，BLEU 分数提高了 7.8 个点，与 Google 翻译相比，该翻译引擎实现了显著提升。此外，还通过定量细粒度手动评估，比较了机器翻译系统的表现。使用多维质量度量中的错误分类法（MQM error taxonomy），探讨了基于 RNN 模型和 Transformer 模型生成的错误类型的人类评估。结果表明，表现最佳的 Transformer 系统在准确性和流畅性错误方面与基于 RNN 的模型相比均有显著降低。

Mar, 2024

本研究对 Transformer 模型在低资源语言翻译中的应用进行了探究，发现过度追求模型大小存在负面影响，需要注意调整超参数以提高性能。同时，本研究旨在挖掘更佳的模型性能，以推动 “Masakhane” 项目的发展。

Apr, 2020

通过将多个低资源语言聚集在一起来实现地区组多语言 Transformer LM 的最佳性能，使得 Monolingual LM 候选模型表现更佳且减少维护成本和运营费用。

Sep, 2022

利用自注意力变换器模型（mBERT, mT5）以及构建新的基准数据集（76.5k 的文章摘要对），在资源有限的语言乌尔都语中，提出了一个自适应低资源摘要方法，能够有效地捕捉低资源语言的上下文信息并取得与英文高资源语言中最先进模型相媲美的评估结果。

Oct, 2023

该研究探索了低资源语言领域的神经机器翻译以及如何通过 NLP 和深度学习技术对语言模型进行改进

Apr, 2023

研究了不同数量可用资源的情况下，对三种非洲语言 Hausa，isiXhosa 和 Yoruba 进行 NER 和主题分类的表现趋势，并通过远距离监督和迁移学习等方法，使用少量的标注数据达到与基线相同的性能，揭示了低资源学习中存在的挑战和机会。

Oct, 2020

本研究提出了一种简单的迁移学习方法，通过训练 “父模型” 并在低资源语言对上进行训练，取代了原有的训练语料库，成功地提高了针对不同语言对的机器翻译性能。

Sep, 2018

大型语言模型可以在研究欠资源语言中通过数据到文本生成来弥补性能差距，但人工评估表明 BLEU 分数相比于英语有所下降，对于评估非任务特定系统其适用性存疑。

Feb, 2024