Jan, 2024

D-Nikud: 借助 LSTM 和预训练模型增强希伯来语变音符号化

PDF
TL;DRD-Nikud 是一种创新的希伯来语音符标注方法，它将 LSTM 网络和基于 BERT 的预训练模型的优势相结合。通过模仿 Nakdimon 方法论，我们将其与 TavBERT 预训练模型结合，我们的系统采用了先进的架构选择和多样化的训练数据。我们的实验展示了在多个基准数据集上的最先进结果，特别强调现代文本和更具体的性别音符标注。
d-nikudhebrew diacritizationlstm networksbert-based modeltavbert
发现论文，激发创造
  • 无字典恢复希伯来文变音符

    本文介绍了一种采用双层字符级 LSTM 模型的自动化加点方案 NAKDIMON，可用于对希伯来文进行加点，且在现代希伯来文多样化数据源方面的表现接近于其他更加复杂且需要手动维护资源的系统。

    May, 2021

  • 神经网络阿拉伯文加点：最新进展和机器翻译的新方法

    本文提出了几种用于阿拉伯文本自动标点的深度学习模型。模型既采用前馈神经网络也采用循环神经网络，包括诸如 100 热编码，嵌入式等多种增强技术。结果表明，与其他需要语言相关的后处理步骤的模型相比，我们的模型要么更好，要么与之相当。此外，我们还提出通过标点符号的使用，改善自然语言处理任务，如机器翻译。

    Nov, 2019

  • Nakdan：专业希伯来文标点工具

    本文介绍了一种自动标点希伯来文的系统，它结合了现代神经模型和精心策划的语言学知识以及全面手动构建的表格和字典。除了提供最先进的标点准确性外，该系统还支持手动编辑和校正自动输出的接口，并具有一些使其特别适用于准备希伯来文文本科学版的功能。该系统支持现代希伯来文、拉宾尼克希伯来文和诗歌希伯来文。

    May, 2020

  • DictaBERT：现代希伯来语的最先进 BERT 套件

    我们提出了 DictaBERT，这是一种用于现代希伯来语的最新预训练 BERT 模型，其在大多数基准测试上超越了现有模型。此外，我们发布了两个针对希伯来文本分析中的两个基础任务进行了细化调整的模型版本：前缀分词和形态标记。这些经过精细调整的模型可以让任何开发者通过调用 HuggingFace 模型的一个简单调用来进行希伯来语句子的前缀分词和形态标记，而不需要集成任何额外的库或代码。在本文中，我们详细描述了训练细节以及在不同基准测试上的结果。我们将这些模型及其使用示例代码发布给社区，作为我们促进希伯来语自然语言处理领域进一步研究和开发的目标的一部分。

    Aug, 2023

  • Fine-Tashkeel: 优化字节级模型以实现精准的阿拉伯文文字加点

    本文研究如何利用预训练语言模型来学习阿拉伯语言中的符号标记，并通过微调模型来实现不需特征工程，最小化训练量的方式进行符号标记任务，从而取得了最新的指标

    Mar, 2023

  • 针对希伯来语自然语言处理的多语言序列到序列模型

    使用序列生成结构的多语言模型能够更好的处理像希伯来语这样的形态丰富语言，从而提高希伯来语自然语言处理，与以往的编码器结构的预训练模型相比，取得了显著改善。

    Dec, 2022

  • 用于轻量化变音符恢复的扩张卷积神经网络

    本研究提出了一种基于一维膨胀卷积的字符级别方法，用于重建拉丁字母为基础、英语为主导的互联网语言环境中的发音符号。该方法比基于递归神经网络或语言建模的方法表现更佳，且适用于 Web 浏览器，尤其适用于匈牙利语等语言的应用。

    Jan, 2022

  • AlephBERT：一个适用于希伯来自然语言处理应用的大型预训练语言模型

    本文介绍了 AlephBERT，一个用于现代希伯来语的大型预训练语言模型，使用该模型在多个希伯来语任务和基准测试中提供了新的最先进结果，包括分词、词性标注、完整的形态标注、命名实体识别和情感分析，并公开了模型。

    Apr, 2021

  • 使用深度神经网络进行阿拉伯文标点符号标注

    本研究通过对现有系统、度量和资源的批判性回顾，提供了一个可以用于基准测试阿拉伯文连字的免费清洗数据集。实验结果表明，神经 Shakkala 系统相对于传统的基于规则的方法和其他闭源工具具有更好的连字错误率表现。

    Apr, 2019

  • 具有超大词汇量的大型预训练模型：希伯来 BERT 模型的对比分析和一个新模型的超越

    本篇论文提出了一种新的针对现代希伯来语的预训练语言模型 AlephBERTGimmel，其使用比以前的标准希伯来语 PLMs 更大的词汇表（128K 项）。通过与所有先前的希伯来语 PLMs（mBERT、heBERT、AlephBERT）进行对比分析，并评估了更大词汇量对任务性能的影响，实验表明，更大的词汇量导致的分割更少，而减少分割有助于模型性能，最终，这一新模型实现了所有可用的希伯来基准测试中的新 SOTA，同时为不受限制的使用公开发布。

    Nov, 2022