本篇论文提出了一种新的针对现代希伯来语的预训练语言模型 AlephBERTGimmel，其使用比以前的标准希伯来语 PLMs 更大的词汇表（128K 项）。通过与所有先前的希伯来语 PLMs（mBERT、heBERT、AlephBERT）进行对比分析，并评估了更大词汇量对任务性能的影响，实验表明，更大的词汇量导致的分割更少，而减少分割有助于模型性能，最终，这一新模型实现了所有可用的希伯来基准测试中的新 SOTA，同时为不受限制的使用公开发布。

Nov, 2022

本文介绍了一种新的面向拉比希伯来语的预训练语言模型 Berel，该模型在处理拉比希伯来语言文本方面的效果优于现有的模型。作者通过希伯来同形异义词的挑战集证明了 Berel 的优越性，并将其模型和同形异义词挑战集公开提供给任何人免费使用。

Aug, 2022

通过提供三种新的阿拉伯 BERT 模型 (JABER、Char-JABER 和 SABER) 和两种新的 T5 模型 (AT5S 和 AT5B)，并在包括 ALUE 在内的阿拉伯自然语言理解任务和 ARGEN 基准子集上实验性地对现有最先进模型的表现进行了系统性评估，得出了我们的模型在辨别性和生成性阿拉伯自然语言理解和生成任务方面具有显著优势，并达到了新的最先进性能。

May, 2022

使用序列生成结构的多语言模型能够更好的处理像希伯来语这样的形态丰富语言，从而提高希伯来语自然语言处理，与以往的编码器结构的预训练模型相比，取得了显著改善。

Dec, 2022

使用语言特定的 BERT 模型预训练，构建了 AraBERT 模型，以在阿拉伯语 NLP 任务方面实现最先进的表现。

Feb, 2020

我们介绍了 DictaLM，这是一个专为现代希伯来语而设计的大规模语言模型。拥有 70 亿参数，该模型主要基于希伯来语中心化的数据进行训练。为了促进希伯来语的研究和发展，我们以创作共用许可证的形式发布了基础模型和指导调整模型。同时，我们还推出了 DictaLM-Rab，这是另一个面向拉比 / 历史希伯来语的基础模型。这些基础模型是针对各种希伯来语特定任务（如指导、问答、情感分析等）进行微调的理想起始点。此发布代表了一个初步的步骤，为希伯来语 NLP 社区提供了一个初始的希伯来语 LLM 模型供实验使用。

Sep, 2023

本文介绍了最近关于预训练语言模型（PLMs）的新进展，重点讨论了大型语言模型的预训练、适应和调整、利用和容量评估四个方面，并讨论了未来研究的问题和方向。

Mar, 2023

提出了一种基于 Wikipedia 数据的多语言紧凑型 ALBERT 模型的免费发布，以解决关于 Pretained Language Models（PLM）的伦理和生态影响的问题，并在经典自然语言处理任务中对该模型进行了评估。

Mar, 2024

这项研究介绍了一个由超过 500GB 的阿拉伯语言清理文本构成的语料库，旨在提高大规模语言模型的跨领域知识和下游泛化能力。此外，该语料库还被用于大型阿拉伯语言模型的训练，在对典型的 NLP 任务进行微调时，与 mBERT 相比表现出 4.5% 至 8.5% 的显着提升，据我所知，这是目前所收集的最大、最清洁、最具多样性的阿拉伯语语料库。

Jan, 2022

本文介绍了两个基于流行的 BERT 架构的波兰语语言模型，经过评估，我们的模型在 13 个波兰语语言任务中取得了显著的提高。

Jun, 2020