Sep, 2023

引入 DictaLM -- 一个用于现代希伯来语的大型生成语言模型

PDF
TL;DR我们介绍了 DictaLM，这是一个专为现代希伯来语而设计的大规模语言模型。拥有 70 亿参数，该模型主要基于希伯来语中心化的数据进行训练。为了促进希伯来语的研究和发展，我们以创作共用许可证的形式发布了基础模型和指导调整模型。同时，我们还推出了 DictaLM-Rab，这是另一个面向拉比 / 历史希伯来语的基础模型。这些基础模型是针对各种希伯来语特定任务（如指导、问答、情感分析等）进行微调的理想起始点。此发布代表了一个初步的步骤，为希伯来语 NLP 社区提供了一个初始的希伯来语 LLM 模型供实验使用。
dictalmhebrewlanguage modelfine-tuninghebrew nlp
发现论文，激发创造
  • AlephBERT：一个适用于希伯来自然语言处理应用的大型预训练语言模型

    本文介绍了 AlephBERT，一个用于现代希伯来语的大型预训练语言模型，使用该模型在多个希伯来语任务和基准测试中提供了新的最先进结果，包括分词、词性标注、完整的形态标注、命名实体识别和情感分析，并公开了模型。

    Apr, 2021

  • DictaBERT：现代希伯来语的最先进 BERT 套件

    我们提出了 DictaBERT，这是一种用于现代希伯来语的最新预训练 BERT 模型，其在大多数基准测试上超越了现有模型。此外，我们发布了两个针对希伯来文本分析中的两个基础任务进行了细化调整的模型版本：前缀分词和形态标记。这些经过精细调整的模型可以让任何开发者通过调用 HuggingFace 模型的一个简单调用来进行希伯来语句子的前缀分词和形态标记，而不需要集成任何额外的库或代码。在本文中，我们详细描述了训练细节以及在不同基准测试上的结果。我们将这些模型及其使用示例代码发布给社区，作为我们促进希伯来语自然语言处理领域进一步研究和开发的目标的一部分。

    Aug, 2023

  • LLaMA：开放高效的基础语言模型

    介绍了 LLaMA，包含 7B 至 65B 个参数的基础语言模型，使用公开可用的数据集训练，其中 LLaMA-13B 在大多数基准测试中优于 GPT-3（175B），LLaMA-65B 等模型与最佳模型 Chinchilla-70B 和 PaLM-540B 相竞争。

    Feb, 2023

  • SaulLM-7B：一款用于法律的创新大型语言模型

    本文介绍了 SaulLM-7B，一个专为法律领域设计的大型语言模型 (LLM)，它具有 70 亿个参数，是第一个专门用于法律文本理解和生成的 LLM。利用 Mistral 7B 架构作为基础，SaulLM-7B 在超过 300 亿个标记的英文法律语料库上进行训练。SaulLM-7B 在理解和处理法律文件方面展现了最先进的能力。此外，我们提出了一种新颖的指导微调方法，利用法律数据集进一步提高 SaulLM-7B 在法律任务中的性能。SaulLM-7B 以 CC-BY-SA-4.0 许可证发布。

    Mar, 2024

  • 针对希伯来语自然语言处理的多语言序列到序列模型

    使用序列生成结构的多语言模型能够更好的处理像希伯来语这样的形态丰富语言，从而提高希伯来语自然语言处理，与以往的编码器结构的预训练模型相比，取得了显著改善。

    Dec, 2022

  • PolyLM: 一个开源的多语种大语言模型

    PolyLM 是一个多语言大型语言模型，经过课程学习和自我指导方法的预训练，可以在多种不同语言的多语言理解、问答、生成和翻译任务上获得比其他已有模型更好的表现。

    Jul, 2023

  • 具有超大词汇量的大型预训练模型：希伯来 BERT 模型的对比分析和一个新模型的超越

    本篇论文提出了一种新的针对现代希伯来语的预训练语言模型 AlephBERTGimmel，其使用比以前的标准希伯来语 PLMs 更大的词汇表（128K 项）。通过与所有先前的希伯来语 PLMs（mBERT、heBERT、AlephBERT）进行对比分析，并评估了更大词汇量对任务性能的影响，实验表明，更大的词汇量导致的分割更少，而减少分割有助于模型性能，最终，这一新模型实现了所有可用的希伯来基准测试中的新 SOTA，同时为不受限制的使用公开发布。

    Nov, 2022

  • GenTranslate：大型语言模型是生成式跨语音和机器翻译器

    利用大型语言模型的丰富语言知识和强大的推理能力，我们提出了一种新的生成式翻译范式 ——“GenTranslate”，可以从 N 个候选译文中生成更高质量的翻译结果，并且在各种语音和机器翻译基准测试中明显优于现有模型。

    Feb, 2024

  • DaG LLM ver 1.0：针对韩国自然语言处理的先驱指导调优语言建模

    该研究介绍了 DaG LLM（大衛和歌利亚語言模型），这是一种专为韩语设计的语言模型，通过对 13 个不同类别中 41 项任务进行指导调整来进行细调。

    Nov, 2023

  • D-Nikud: 借助 LSTM 和预训练模型增强希伯来语变音符号化

    D-Nikud 是一种创新的希伯来语音符标注方法，它将 LSTM 网络和基于 BERT 的预训练模型的优势相结合。通过模仿 Nakdimon 方法论，我们将其与 TavBERT 预训练模型结合，我们的系统采用了先进的架构选择和多样化的训练数据。我们的实验展示了在多个基准数据集上的最先进结果，特别强调现代文本和更具体的性别音符标注。

    Jan, 2024