Jan, 2022

面向语言建模的大规模多样化阿拉伯语语料库

PDF
TL;DR这项研究介绍了一个由超过 500GB 的阿拉伯语言清理文本构成的语料库，旨在提高大规模语言模型的跨领域知识和下游泛化能力。此外，该语料库还被用于大型阿拉伯语言模型的训练，在对典型的 NLP 任务进行微调时，与 mBERT 相比表现出 4.5% 至 8.5% 的显着提升，据我所知，这是目前所收集的最大、最清洁、最具多样性的阿拉伯语语料库。
发现论文，激发创造
  • 101 亿阿拉伯语词汇数据集

    该研究致力于解决阿拉伯地区数据稀缺的问题，以鼓励开发真实地反映该地区语言和细微差异的阿拉伯语言模型。通过从 Common Crawl WET 文件中提取大量阿拉伯文本数据，经过严格的清洗和去重处理，形成了迄今为止最大的 1010 亿阿拉伯词汇数据集，这将对真实的阿拉伯语言模型的发展产生重要贡献。该研究不仅强调了创造语言和文化准确的阿拉伯语言模型的潜力，还为增强阿拉伯语言模型的真实性奠定了未来研究的先例。

    Apr, 2024

  • AraMUS: 将数据和模型规模的极限推向阿拉伯语自然语言处理

    本文介绍 AraMUS—— 最大的预训练阿拉伯语言模型，基于 529GB 高质量的阿拉伯文本数据，该模型在通用语言处理任务中达到了最先进的性能。此外，与现有的阿拉伯语言模型相比，AraMUS 表现出了优秀的少样本学习能力。

    Jun, 2023

  • Shamela：一个大规模历史阿拉伯语语料库

    本文介绍一种收集和处理阿拉伯语历史语料库的方法，所得到的大规模语料库包括约 10 亿个单词，使用形态分析器进行处理，并检测出了平行段落并自动标注了年代。该语料库可用于数字人文学研究的实际应用。

    Dec, 2016

  • 重新审视预训练语言模型及其在阿拉伯语自然语言理解中的评估

    通过提供三种新的阿拉伯 BERT 模型 (JABER、Char-JABER 和 SABER) 和两种新的 T5 模型 (AT5S 和 AT5B)，并在包括 ALUE 在内的阿拉伯自然语言理解任务和 ARGEN 基准子集上实验性地对现有最先进模型的表现进行了系统性评估，得出了我们的模型在辨别性和生成性阿拉伯自然语言理解和生成任务方面具有显著优势，并达到了新的最先进性能。

    May, 2022

  • 波斯思维：一个跨语言的波斯 - 英语大语言模型

    通过在 LLaMa2 的词汇表中添加 10,000 个波斯语标记并在包含近 20 亿波斯语标记的数据集上进行训练，我们展示了我们的方法既保留了模型的英语知识，又利用了迁移学习在不同语言之间传递任务知识的优势。

    Jan, 2024

  • 关于阿拉伯语语言模型预训练中数据规模的重要性

    通过在规模庞大、高质量的阿拉伯语语料库上重新训练，我们显著提高了领先的阿拉伯编码器型 BERT-based 和编码器解码器型 T5-based 的性能，表现出同类模型的最新技术结果；我们的分析强烈暗示，预训练数据远远是性能的主要贡献因素，超越其他因素。

    Jan, 2024

  • 15 亿词的阿拉伯语语料库

    本研究旨在建立一份当代阿拉伯文语料库，收集了包括 8 个阿拉伯国家 10 个主要新闻来源的报纸文章，共计超过 5 百万篇文章，包含 15 亿个单词，标记了 SGML 和 XML 两种标记语言，并使用 UTF-8 和 Windows CP-1256 两种编码格式。

    Nov, 2016

  • AraBERT：基于 Transformer 的阿拉伯语语言理解模型

    使用语言特定的 BERT 模型预训练，构建了 AraBERT 模型，以在阿拉伯语 NLP 任务方面实现最先进的表现。

    Feb, 2020

  • 利用 BERT 语言模型进行阿拉伯语长文档分类

    本文针对大量阿拉伯文文档分类问题，提出了两种简单而有效的机器学习模型，并对比了 RoBERT 和 Longformer 两个模型在不同数据集上的结果，结果显示我们的模型表现更优秀。

    May, 2023

  • 波斯语 LLaMA: 迈向建立首个波斯语大型语言模型

    本研究介绍了第一个大型波斯语语言模型 PersianLLaMA，在波斯文本和数据集上训练，通过最新的评估方法在波斯文本的生成和理解任务中表现出色，对于发展波斯语自然语言处理，特别是文本生成方面如聊天机器人、问答、机器翻译和文本摘要等任务可作为宝贵资源。

    Dec, 2023