ACLMay, 2020

Nakdan：专业希伯来文标点工具

PDF
TL;DR本文介绍了一种自动标点希伯来文的系统，它结合了现代神经模型和精心策划的语言学知识以及全面手动构建的表格和字典。除了提供最先进的标点准确性外，该系统还支持手动编辑和校正自动输出的接口，并具有一些使其特别适用于准备希伯来文文本科学版的功能。该系统支持现代希伯来文、拉宾尼克希伯来文和诗歌希伯来文。
automatic diacritizationhebrewneural modelslinguistic knowledgescientific editions
发现论文，激发创造
  • 无字典恢复希伯来文变音符

    本文介绍了一种采用双层字符级 LSTM 模型的自动化加点方案 NAKDIMON，可用于对希伯来文进行加点，且在现代希伯来文多样化数据源方面的表现接近于其他更加复杂且需要手动维护资源的系统。

    May, 2021

  • D-Nikud: 借助 LSTM 和预训练模型增强希伯来语变音符号化

    D-Nikud 是一种创新的希伯来语音符标注方法，它将 LSTM 网络和基于 BERT 的预训练模型的优势相结合。通过模仿 Nakdimon 方法论，我们将其与 TavBERT 预训练模型结合，我们的系统采用了先进的架构选择和多样化的训练数据。我们的实验展示了在多个基准数据集上的最先进结果，特别强调现代文本和更具体的性别音符标注。

    Jan, 2024

  • 使用深度神经网络进行阿拉伯文标点符号标注

    本研究通过对现有系统、度量和资源的批判性回顾，提供了一个可以用于基准测试阿拉伯文连字的免费清洗数据集。实验结果表明，神经 Shakkala 系统相对于传统的基于规则的方法和其他闭源工具具有更好的连字错误率表现。

    Apr, 2019

  • 神经网络阿拉伯文加点：最新进展和机器翻译的新方法

    本文提出了几种用于阿拉伯文本自动标点的深度学习模型。模型既采用前馈神经网络也采用循环神经网络，包括诸如 100 热编码，嵌入式等多种增强技术。结果表明，与其他需要语言相关的后处理步骤的模型相比，我们的模型要么更好，要么与之相当。此外，我们还提出通过标点符号的使用，改善自然语言处理任务，如机器翻译。

    Nov, 2019

  • 运用部分标点化文本提升阿拉伯文标点的准确度

    本文提出了一种名为 2SDiac 的多源模型，该模型可以支持输入中的可选变音符，并引入了一种名为有指导性学习的训练方案，以利用不同级别的随机屏蔽中给定的变音符号。实验结果表明，我们的方法在对非变音文本进行评估时，明显优于基准方法。同时，我们的方法参数数量减少超过 60％，达到了最先进的结果。

    Jun, 2023

  • Fine-Tashkeel: 优化字节级模型以实现精准的阿拉伯文文字加点

    本文研究如何利用预训练语言模型来学习阿拉伯语言中的符号标记，并通过微调模型来实现不需特征工程，最小化训练量的方式进行符号标记任务，从而取得了最新的指标

    Mar, 2023

  • 野外阿拉伯语音调符号：利用机会改进音调标记

    通过探索阿拉伯语自然语言处理中的 “野生变音符号” 实例，本文提出了一个新的标注数据集，并提出了对阿拉伯语自然语言处理中的分析和消岐方法的扩展，以利用这些变音符号，从而实现显著的改进。

    Jun, 2024

  • 阿拉伯语 ASR 中的语音符号识别性能

    本研究分析了阿拉伯语自动语音识别（ASR）系统中音标识别的表现，并比较了文本音标处理与 ASR 音标处理的表现。通过在不同音标化条件下对语音数据进行细化和对比，我们发现 ASR 音标处理特别是在手动音标化的情况下表现优异。

    Feb, 2023

  • 深度标声符号化：用于改进阿拉伯语标声符号化的高效分层循环

    本文提出了一种针对阿拉伯文音标的新型网络结构，使用基于词和字符层级的循环神经网络层级结构和交叉层级的注意力机制，进一步提高了网络的可解释性。使用额外技巧如句子 dropout 和多数投票进一步提高了模型性能，使得在 Tashkeela 阿拉伯文音标数据集上达到了相对误差减少 30.56% 的 5.34% WER，超过了之前最优结果。

    Nov, 2020

  • 在迁移学习时代的阿拉伯文加音标：只需进行标记分类

    PTCAD 是一种新的两阶段方法，将自动按音素对阿拉伯文本进行音标化，并在基准数据集上取得了最先进的结果，包括相对于现有基准数据的词错误率降低了 20％，在 ATD 任务中表现出优越的性能，超过了 GPT-4。

    Jan, 2024