Aug, 2023

DictaBERT：现代希伯来语的最先进 BERT 套件

PDF
TL;DR我们提出了 DictaBERT，这是一种用于现代希伯来语的最新预训练 BERT 模型，其在大多数基准测试上超越了现有模型。此外，我们发布了两个针对希伯来文本分析中的两个基础任务进行了细化调整的模型版本：前缀分词和形态标记。这些经过精细调整的模型可以让任何开发者通过调用 HuggingFace 模型的一个简单调用来进行希伯来语句子的前缀分词和形态标记，而不需要集成任何额外的库或代码。在本文中，我们详细描述了训练细节以及在不同基准测试上的结果。我们将这些模型及其使用示例代码发布给社区，作为我们促进希伯来语自然语言处理领域进一步研究和开发的目标的一部分。
dictabertpre-trained bert modelmodern hebrewprefix segmentationmorphological tagging
发现论文，激发创造
  • D-Nikud: 借助 LSTM 和预训练模型增强希伯来语变音符号化

    D-Nikud 是一种创新的希伯来语音符标注方法，它将 LSTM 网络和基于 BERT 的预训练模型的优势相结合。通过模仿 Nakdimon 方法论，我们将其与 TavBERT 预训练模型结合，我们的系统采用了先进的架构选择和多样化的训练数据。我们的实验展示了在多个基准数据集上的最先进结果，特别强调现代文本和更具体的性别音符标注。

    Jan, 2024

  • 引入 DictaLM -- 一个用于现代希伯来语的大型生成语言模型

    我们介绍了 DictaLM，这是一个专为现代希伯来语而设计的大规模语言模型。拥有 70 亿参数，该模型主要基于希伯来语中心化的数据进行训练。为了促进希伯来语的研究和发展，我们以创作共用许可证的形式发布了基础模型和指导调整模型。同时，我们还推出了 DictaLM-Rab，这是另一个面向拉比 / 历史希伯来语的基础模型。这些基础模型是针对各种希伯来语特定任务（如指导、问答、情感分析等）进行微调的理想起始点。此发布代表了一个初步的步骤，为希伯来语 NLP 社区提供了一个初始的希伯来语 LLM 模型供实验使用。

    Sep, 2023

  • AlephBERT：一个适用于希伯来自然语言处理应用的大型预训练语言模型

    本文介绍了 AlephBERT，一个用于现代希伯来语的大型预训练语言模型，使用该模型在多个希伯来语任务和基准测试中提供了新的最先进结果，包括分词、词性标注、完整的形态标注、命名实体识别和情感分析，并公开了模型。

    Apr, 2021

  • 使用 BERT 的希伯来语冒犯语料库和检测

    在本研究中，我们提供了希伯来语的新冒犯性语言语料库，使用推特上的 15,881 条推文，并由阿拉伯 - 希伯来双语人士对其进行了五个类别（辱骂、仇恨、暴力、色情或无冒犯）的标注，我们使用我们提出的数据集和另一个已发布的数据集对两个希伯来语 BERT 模型（HeBERT 和 AlephBERT）进行了微调，观察到我们的数据与 D_OLaH 相结合可以将 HeBERT 的性能提升 2％。将 AlephBERT 在我们的数据上进行微调并在 D_OLaH 上进行测试，准确率达到了 69％，而在 D_OLaH 上进行微调并在我们的数据上进行测试，准确率达到了 57％，这可能意味着我们提供的数据的通用性。我们的数据集和微调模型已在 GitHub 和 Huggingface 上提供。

    Sep, 2023

  • 具有超大词汇量的大型预训练模型：希伯来 BERT 模型的对比分析和一个新模型的超越

    本篇论文提出了一种新的针对现代希伯来语的预训练语言模型 AlephBERTGimmel，其使用比以前的标准希伯来语 PLMs 更大的词汇表（128K 项）。通过与所有先前的希伯来语 PLMs（mBERT、heBERT、AlephBERT）进行对比分析，并评估了更大词汇量对任务性能的影响，实验表明，更大的词汇量导致的分割更少，而减少分割有助于模型性能，最终，这一新模型实现了所有可用的希伯来基准测试中的新 SOTA，同时为不受限制的使用公开发布。

    Nov, 2022

  • AraBERT：基于 Transformer 的阿拉伯语语言理解模型

    使用语言特定的 BERT 模型预训练，构建了 AraBERT 模型，以在阿拉伯语 NLP 任务方面实现最先进的表现。

    Feb, 2020

  • HistBERT：用于历时词汇语义分析的预训练语言模型

    研究历史语料库数据对语言模型 BERT 训练的影响，从而提出一种预先训练的基于 HistBERT 的语言模型，并比较它与原始 BERT 在单词相似度和语义转化分析方面的表现，该工作强调，上下文语言嵌入在历史语言分析中的效果取决于输入文本的时态特征，并应谨慎应用此方法来研究历史语义变化。

    Feb, 2022

  • HeBERT＆HebEMO：一种希伯来 BERT 模型和用于情感极性分析的工具

    该研究介绍了 HeBERT 和 HebEMO，HeBERT 是基于 BERT 构架的适用于现代希伯来语文本的转换器模型，通过分析多个 BERT 规范，该模型在语言任务上的性能表现优于现有的希伯来语文本处理模型；HebEMO 是一个使用 HeBERT 识别极性并从希伯来 UGS 中提取情绪的工具，在 COVID-19 相关的 UGS 数据集上训练，取得了情绪分类的很高 F1-score，表现优于英语情绪检测模型。

    Feb, 2021

  • HeRo: RoBERTa 和 Longformer 希伯来语语言模型

    本文提供了 HeDC4 数据集、HeRo 和 LongHeRo 两种语言模型和用于情感分析、实体识别、问答和文档分类等任务的表现，它们在希伯来语 NLP 领域填补了现有资源之间的不足，并在所涉领域中取得了最先进的性能表现。

    Apr, 2023

  • ParsBERT：基于 Transformer 的波斯语语言理解模型

    本文提出了一种用于波斯语的单语 BERT 模型（ParsBERT），并采用庞大的数据集进行预训练和各种自然语言处理任务，证明该模型相对于其他结构和多语言模型具有更好的性能。

    May, 2020