本文通过多语言自适应微调方法，改进了前馈神经网络 (AfriBERTa 和 XLM-R) 模型，使其适配 17 种最常用的非洲语言及其他 3 种在非洲大陆广泛使用的高资源语言，在 NER、新闻主题分类和情感分类等自然语言处理任务中具有竞争性，且需要的磁盘空间明显少于单个语言的自适应微调方法。同时，本文的适配模型还能够改善参数效率微调方法的零 - shot 跨语言转移能力。

Apr, 2022

本文讨论使用预训练语言模型在自然语言处理中进行主动学习时存在的问题，并提出了使用先前所有的未标注数据来适应目标任务的解决方法，同时也提出了一种简单有效的微调方法来保证适应的语言模型在低资源和高资源情况下都能得到适当的训练，实验结果表明，相比标准的微调方法，我们的方法提供了显著的数据效率改进，这表明一个不良的训练策略可能对主动学习产生灾难性的影响。

Apr, 2021

通过在主动学习循环中使用预训练的大型语言模型的表示，然后在获得所需标记数据后，对这些数据进行微调，从而以较低的计算成本实现与将完全微调的模型相似的性能。

Feb, 2024

在大型语言模型时代，我们提出了创新的协作学习框架 FreeAL，通过与 LLMs 交互式提取和过滤任务特定知识，显著提高了 SLM 和 LLM 的零样本性能，无需人工监督。

Nov, 2023

近期，在自然语言处理方面的最新进展中，大型语言模型（LLM）得到了广泛应用，它们在上下文学习下表现出良好性能，甚至适用于未知的任务和语言。然而，它们在非洲语言上的性能尚不清楚。我们研究了三种广泛使用的大型语言模型（mT0，LLaMa 2 和 GPT-4）在 30 种非洲语言上的五个任务（新闻主题分类，情感分类，机器翻译，问答和命名实体识别）的表现。结果显示，所有的大型语言模型在非洲语言上的表现都低于水平，与英语等高资源语言相比，性能差距较大。我们发现，GPT-4 在分类任务上表现平均或令人印象深刻，但在机器翻译等生成任务上表现非常糟糕。令人惊讶的是，我们发现 mT0 在非洲语言上的跨语言问答表现最佳，超过了最先进的有监督模型（即，微调的 mT5）和 GPT-4 的表现。总体而言，由于 LLaMa 2 具有有限的多语言能力和以英语为中心的预训练语料库，因此其表现最差。总的来说，我们的研究结果呼吁确保非洲语言在大型语言模型中得到很好的代表，因为这些模型越来越受欢迎。

Nov, 2023

使用半监督的方法（self-training）从未标记的数据中获取伪标签来改善运用主动学习进行文本分类的效率，通过进行广泛的实验，提出了一种新的有效的 self-training 策略（HAST），并在四个文本分类基准数据集上进行了评估，仅使用 25% 的数据，超过了之前实验的分类结果，达到了与三个数据集的先前实验相当的分类效果。

Jun, 2024

应用多语言模型和自监督学习方法进行预训练和汇集可用数据来提高语音识别质量，为非洲语言建立大词汇量语音识别系统。

Aug, 2022

本文使用 Joey NMT 工具包中的 Active Learning 技术，通过两种基于模型的获取函数 (BM, FTM, ALLCM, 和 ALMSM)，研究了英语到印地语的神经机器翻译。本文的结果表明，Active Learning 技术能够使模型更早地达到收敛并提高整个翻译系统的质量，其中 ALLCM 和 ALMSM 两种模型取得了最好的 BLEU 分数。

Dec, 2022

本研究利用多种多语种 XLM-R 模型和多样数据集，针对 AfriSenti-SemEval 2023 共享任务 12 的非洲语言情感分析模型进行了研究，最终在 Subtask B, Track 16: 多语言中获得了第三名的好成绩，但在某些语言表现不佳，表明需要建立更全面的数据集和模型来推进低资源非洲语言的情感分析研究。

May, 2023

EthioLLM introduces multilingual large language models for five Ethiopian languages and English, along with a new benchmark dataset for downstream NLP tasks, evaluating their performance and making them available through an open-source repository.

Mar, 2024