本研究探究了基于不同阿拉伯语言方言预训练模型的内部表示，并使用三种内在任务对这些模型进行了层和神经元分析，包括两种基于 MSA 的形态标注任务和一种方言识别任务。研究发现，单词形态是在较低和中间层中学习的；方言识别需要更多的知识，因此即使在最终层中也需要保留；尽管词汇有很大的重叠，基于 MSA 的模型无法捕捉阿拉伯语方言的细微差别，而嵌入层中的神经元是多义的，而中间层中的神经元则专门用于特定的属性。

Jan, 2022

该研究利用预训练转换器语言模型对不同形式的阿拉伯语进行形态句法标记，优于现有系统，在不同区域的阿拉伯语可获得显著改进，特别是在资源匮乏的情况下，利用其他高资源方言的数据进行微调，以及使用高质量的形态分析器作为外部语言资源是有益的。

Oct, 2021

使用语言特定的 BERT 模型预训练，构建了 AraBERT 模型，以在阿拉伯语 NLP 任务方面实现最先进的表现。

Feb, 2020

本研究旨在解决目前英语和拉丁语为主导的大型语言模型 (LLMs) 中，对于阿拉伯语母语的阿拉伯 LLMs 的缺乏问题。通过提出 ArabianGPT 系列模型，结合 AraNizer 分词工具和微调技术，有效改进了阿拉伯语自然语言处理的准确性和性能。

Feb, 2024

在使用多语言语言模型进行低资源和高资源语言的任务中，阿拉伯语的方言差异引起了广泛关注。本文采用 mBERT 预训练和两种持续预训练方法，证明这些方法都可以帮助提高方言分类任务的性能。

Nov, 2022

本研究使用不同规模的训练集、正式和非正式阿拉伯语以及不同的语言预处理方式对 BERT 进行预训练，旨在支持阿拉伯方言和社交媒体。实验证实了数据多样性与语言感知分词的核心作用，也证明了更多的数据或更多的训练步骤并不能保证更好的模型，最终得到的 QARiB 模型在一些下游任务中取得了最新的最佳结果。

Feb, 2021

本文主要研究阿拉伯语文本数据的分类，特别关注自然语言推理和矛盾检测。通过创建专用数据集并利用语言学上知识进行预训练，发现了具有竞争力的阿拉伯语特定模型（AraBERT），并成功应用于大规模任务评估及多任务预训练的首个阿拉伯语背景应用。

Jul, 2023

本文研究了阿拉伯语预训练语言模型的语言变体、数据量和微调任务类型对其效果的影响，结论表明预训练数据与微调数据的相似性对模型的性能更为重要。

Mar, 2021

通过提供三种新的阿拉伯 BERT 模型 (JABER、Char-JABER 和 SABER) 和两种新的 T5 模型 (AT5S 和 AT5B)，并在包括 ALUE 在内的阿拉伯自然语言理解任务和 ARGEN 基准子集上实验性地对现有最先进模型的表现进行了系统性评估，得出了我们的模型在辨别性和生成性阿拉伯自然语言理解和生成任务方面具有显著优势，并达到了新的最先进性能。

May, 2022

本文主要研究了基于深度学习与多模态语料库的阿拉伯情感分析的数据集，通过使用最先进的 transformers 和特征提取工具来建立我们的阿拉伯多模态数据集，并使用 state-of-the-art 的 transformer-based model 验证我们的数据集，研究表明阿拉伯多模态情感分析非常有前途。

Jun, 2023