近年来，我们通过聚合和改进来自互联网和各种个人图书馆的不同文本，使我们的干净的 Yoruba 数据集从以 Bibilical 文本语料库为主，来源有三个，增长到来自十多个来源的数百万标记。我们评估了对现代新闻文本进行多用途选择和反映当代使用的公共领域 Yoruba 评估数据集上的更新的变音恢复模型。所有预训练的模型、数据集和源代码都已作为开源项目发布，以推进 Yoruba 语言技术的发展。

Mar, 2020

本论文提出了两种不同的基于注意力机制的序列到序列神经网络模型来处理未带变音符的约鲁巴语文本，将自动变音符恢复重新定位为机器翻译任务。在评估数据集上，这种方法产生少于 5％的变音符错误率，并开源了预训练模型、数据集和源代码项目，以推进约鲁巴语言技术的努力。

Apr, 2018

本研究提出了 MENYO-20k，这是一个首个多领域平行语料库，专注于干净的约鲁巴语和英语，为基准测试提供标准化的训练集 - 测试集划分。研究人员提供了几个神经机器翻译基准测试，并将它们与流行的预训练（大规模多语种）机器翻译模型的性能进行了比较。出乎意料的是，他们的模型效果超过了谷歌（+8.7 BLEU）和 Facebook M2M（+9.1 BLEU）这样的大规模多语种模型，为未来的研究设定了高质量的基准。

Mar, 2021

该论文调查了自然语言处理中方言的重要性，描述了不同方言数据集和方法，对方言的研究超过了仅仅方言分类的工作，对构建具有公平性的语言技术有重要意义。

Jan, 2024

本文通过全面评估最有影响力的最新大型语言模型（LLMs）在机器翻译和自动语音识别两个高使用频率应用领域上的功能，对多个高和低资源语言的地区方言进行了功能评估，并分析了地方方言差距与经济、社会和语言因素的相关性，从而为方言 NLP 领域的发展奠定基础，并通过有意识的数据收集，揭示明显的差异并寻找可能的解决途径。

Oct, 2023

本文介绍了一种基于注意力机制的 VGS 模型，通过将图像与 Yorùbá 语言的话语配对并自动标记英文视觉标签，实现了跨语言关键词定位，以解决新兴语种的语音系统数据不足的问题。

Oct, 2022

通过评估多种方法的有效性，我们提出了一种修改后的方法来分析处理非洲本地方言的挑战，特别是阿拉伯方言，对于寻求提高客户体验和产品开发的业务来说具有重要的影响。

May, 2023

该研究论文介绍了关于自然语言处理在非洲语言的应用的研究进展，指出非洲语言的自然语言处理技术和工具存在落后的现象。在此背景下，作者提出了建立一个 Igbo 语言的机器翻译基准数据集的思路，从而提升非洲语言的自然语言技术水平。

Apr, 2020

本文介绍了针对非洲语言首次提供的高质量对话数据集，并通过深度单语模型 DialoGPT 和 BlenderBot 以及基准模型 seq2seq 对其进行建模，利用重叠度进行效果分析，同时通过人类评估方法验证其有效性，发现深度单语模型可以学习一些泛化跨语言的抽象，人类得分最高的是奈及利亚皮钦英语。

Apr, 2022

本论文针对两种非洲语言 —— 约鲁巴语和特威语，通过比较由无标注文本学习的词向量和有标注文本学习的词向量，以及不同深度学习模型的表现，分析公开语料库中的噪声，并收集了高质量的语料库数据和相应的测试套件，最终提供了这两种语言的语料库、嵌入向量和测试套件。

Dec, 2019