本文研究非洲语言在自然语言处理上的挑战，针对命名实体识别任务，创造了包含 20 种非洲语言的最大人工标注数据集，研究了现有跨语言传递方法的表现，并发现选择最佳传递语言相较使用英语，可以提高零 - shot F1 分数 14 点。

Oct, 2022

本文介绍了第一个大型公开高质量的非洲十种语言的命名实体识别数据集，研究这些语言对命名实体识别带来的挑战，并在监督和迁移学习设置下进行了广泛的实证评估和分析，旨在启发未来的非洲自然语言处理研究。

Mar, 2021

本研究利用多种多语种 XLM-R 模型和多样数据集，针对 AfriSenti-SemEval 2023 共享任务 12 的非洲语言情感分析模型进行了研究，最终在 Subtask B, Track 16: 多语言中获得了第三名的好成绩，但在某些语言表现不佳，表明需要建立更全面的数据集和模型来推进低资源非洲语言的情感分析研究。

May, 2023

近期，在自然语言处理方面的最新进展中，大型语言模型（LLM）得到了广泛应用，它们在上下文学习下表现出良好性能，甚至适用于未知的任务和语言。然而，它们在非洲语言上的性能尚不清楚。我们研究了三种广泛使用的大型语言模型（mT0，LLaMa 2 和 GPT-4）在 30 种非洲语言上的五个任务（新闻主题分类，情感分类，机器翻译，问答和命名实体识别）的表现。结果显示，所有的大型语言模型在非洲语言上的表现都低于水平，与英语等高资源语言相比，性能差距较大。我们发现，GPT-4 在分类任务上表现平均或令人印象深刻，但在机器翻译等生成任务上表现非常糟糕。令人惊讶的是，我们发现 mT0 在非洲语言上的跨语言问答表现最佳，超过了最先进的有监督模型（即，微调的 mT5）和 GPT-4 的表现。总体而言，由于 LLaMa 2 具有有限的多语言能力和以英语为中心的预训练语料库，因此其表现最差。总的来说，我们的研究结果呼吁确保非洲语言在大型语言模型中得到很好的代表，因为这些模型越来越受欢迎。

Nov, 2023

本文提出了 MasakhaPOS 数据集，并利用条件随机场、多语言预训练语言模型、跨语言传递模型以及交叉语言参数高效微调等方法来解决非常规非洲语言的词性标注问题。实验结果表明，选择最佳的传递语言可显著提高目标语言的 POS 标注性能，特别是结合跨语言参数高效微调方法时。关键是，从与目标语言匹配的语言传递知识似乎对未见过的语言的 POS 标记更有效。

May, 2023

本文介绍了 MASAKHANE 建立非洲自然语言处理和机器翻译社区的方法和成功经验。

Mar, 2020

这项研究旨在为南非的 isiZulu 和 Siswati 本土语言创建大规模数据集，通过使用四种分类模型和三种单词嵌入方法，分类结果表明，XGBoost、逻辑回归和 LSTM 的 Word2vec 训练表现最佳。

Jun, 2023

通过 AfriSenti-SemEval 共享任务，评估了 14 种非洲语言情感分析中当前最先进的转换器模型，比较了用单一模型处理所有语言与为每种语言训练一个模型之间的性能。结果表明，对非洲语言专门开发的模型在所有任务上表现出色，对于一些样本较小的语言，一个更大的多语言模型在情感分类上可能比专门针对该语言的模型表现更好。

Oct, 2023

本研究使用 IrokoBench 数据集对低资源的非洲语言进行了零样本学习、少样本学习和翻译测试，并发现了高资源语言和低资源非洲语言之间的显著性能差距。机器翻译测试集从而改善了一些以英语为中心的大型模型的表现，结果表明需要更多的努力来开发和适应非洲语言的大型语言模型。

Jun, 2024

本文提出了两个用于 Kinyarwanda 和 Kirundi 两种低资源非洲语言新闻文章的多类分类的数据集 (KINNEWS 和 KIRNEWS)，并通过实验展示训练较高资源的 Kinyarwanda 能够成功的进行跨语言转移至 Kirundi。这些数据集除了可以被用于文本分类，还可被用于解决跨语言学习、表示学习、语法分析、词性标注和命名实体识别等自然语言处理问题。

Oct, 2020