使用预训练语言模型进行阿拉伯语及其方言的形态句法标注

ACLOct, 2021

使用预训练语言模型进行阿拉伯语及其方言的形态句法标注

Morphosyntactic Tagging with Pre-trained Language Models for Arabic and its Dialects

Go Inoue, Salam Khalifa, Nizar Habash

TL;DR该研究利用预训练转换器语言模型对不同形式的阿拉伯语进行形态句法标记，优于现有系统，在不同区域的阿拉伯语可获得显著改进，特别是在资源匮乏的情况下，利用其他高资源方言的数据进行微调，以及使用高质量的形态分析器作为外部语言资源是有益的。

Abstract

We present state-of-the-art results on morphosyntactic tagging across different varieties of arabic using fine-tuned pre-trained transformer language models. Our models consistently outperform existing systems in

morphosyntactic tagging arabic transformer language models fine-tuning low-resource scenarios

发现论文，激发创造

解释阿拉伯语 Transformer 模型

本研究探究了基于不同阿拉伯语言方言预训练模型的内部表示，并使用三种内在任务对这些模型进行了层和神经元分析，包括两种基于 MSA 的形态标注任务和一种方言识别任务。研究发现，单词形态是在较低和中间层中学习的；方言识别需要更多的知识，因此即使在最终层中也需要保留；尽管词汇有很大的重叠，基于 MSA 的模型无法捕捉阿拉伯语方言的细微差别，而嵌入层中的神经元是多义的，而中间层中的神经元则专门用于特定的属性。

Jan, 2022

阿拉伯语 Transformer 模型的事后分析

对在不同阿拉伯语方言上训练的 transformer 模型进行层与神经元分析，研究有趣的发现如下：①单词形态在较低和中间层次上学习，②句法依赖在较高层次上被捕获，③虽然 MSA 模型的词汇表与方言词汇表有很大重叠，但仍然无法捕捉阿拉伯语方言的微妙之处，④嵌入层的神经元是一词多义的，而中间层的神经元仅适用于特定属性。

Oct, 2022

阿拉伯预训练语言模型中变体、大小和任务类型的相互作用

本文研究了阿拉伯语预训练语言模型的语言变体、数据量和微调任务类型对其效果的影响，结论表明预训练数据与微调数据的相似性对模型的性能更为重要。

Mar, 2021

面向阿拉伯方言变异鲁棒性的参数和数据高效连续预训练

在使用多语言语言模型进行低资源和高资源语言的任务中，阿拉伯语的方言差异引起了广泛关注。本文采用 mBERT 预训练和两种持续预训练方法，证明这些方法都可以帮助提高方言分类任务的性能。

Nov, 2022

Fine-Tashkeel: 优化字节级模型以实现精准的阿拉伯文文字加点

本文研究如何利用预训练语言模型来学习阿拉伯语言中的符号标记，并通过微调模型来实现不需特征工程，最小化训练量的方式进行符号标记任务，从而取得了最新的指标

Mar, 2023

使用自训练预训练语言模型进行零样本和少样本多方言阿拉伯序列标注

本研究提出在零或少量标注数据的情况下，通过自训练预训练语言模型，利用数据丰富的语言资源，提高数据匮乏语言变种的性能，以阿拉伯语序列标注为例，利用仅在现代标准阿拉伯语上微调的语言模型，预测多个方言阿拉伯语的命名实体和词性标注，表明自训练是有效的，并能在极少的标注数据下获得更好的效果。

Jan, 2021

AraBERT：基于 Transformer 的阿拉伯语语言理解模型

使用语言特定的 BERT 模型预训练，构建了 AraBERT 模型，以在阿拉伯语 NLP 任务方面实现最先进的表现。

Feb, 2020

利用变压器模型和语言学知识预训练技术提升阿拉伯语自然语言推断能力

本文主要研究阿拉伯语文本数据的分类，特别关注自然语言推理和矛盾检测。通过创建专用数据集并利用语言学上知识进行预训练，发现了具有竞争力的阿拉伯语特定模型（AraBERT），并成功应用于大规模任务评估及多任务预训练的首个阿拉伯语背景应用。

Jul, 2023

阿拉伯 GPT：基于阿拉伯语的大型语言模型

本研究旨在解决目前英语和拉丁语为主导的大型语言模型 (LLMs) 中，对于阿拉伯语母语的阿拉伯 LLMs 的缺乏问题。通过提出 ArabianGPT 系列模型，结合 AraNizer 分词工具和微调技术，有效改进了阿拉伯语自然语言处理的准确性和性能。

Feb, 2024

重新审视预训练语言模型及其在阿拉伯语自然语言理解中的评估

通过提供三种新的阿拉伯 BERT 模型 (JABER、Char-JABER 和 SABER) 和两种新的 T5 模型 (AT5S 和 AT5B)，并在包括 ALUE 在内的阿拉伯自然语言理解任务和 ARGEN 基准子集上实验性地对现有最先进模型的表现进行了系统性评估，得出了我们的模型在辨别性和生成性阿拉伯自然语言理解和生成任务方面具有显著优势，并达到了新的最先进性能。

May, 2022