ACLJun, 2024

野外阿拉伯语音调符号：利用机会改进音调标记

PDF
TL;DR通过探索阿拉伯语自然语言处理中的 “野生变音符号” 实例，本文提出了一个新的标注数据集，并提出了对阿拉伯语自然语言处理中的分析和消岐方法的扩展，以利用这些变音符号，从而实现显著的改进。
diacritical marksarabic textarabic natural language processingdiacritics in the wildanalyse-and-disambiguate approach
发现论文，激发创造
  • 使用深度神经网络进行阿拉伯文标点符号标注

    本研究通过对现有系统、度量和资源的批判性回顾，提供了一个可以用于基准测试阿拉伯文连字的免费清洗数据集。实验结果表明，神经 Shakkala 系统相对于传统的基于规则的方法和其他闭源工具具有更好的连字错误率表现。

    Apr, 2019

  • 运用部分标点化文本提升阿拉伯文标点的准确度

    本文提出了一种名为 2SDiac 的多源模型，该模型可以支持输入中的可选变音符，并引入了一种名为有指导性学习的训练方案，以利用不同级别的随机屏蔽中给定的变音符号。实验结果表明，我们的方法在对非变音文本进行评估时，明显优于基准方法。同时，我们的方法参数数量减少超过 60％，达到了最先进的结果。

    Jun, 2023

  • 神经网络阿拉伯文加点：最新进展和机器翻译的新方法

    本文提出了几种用于阿拉伯文本自动标点的深度学习模型。模型既采用前馈神经网络也采用循环神经网络，包括诸如 100 热编码，嵌入式等多种增强技术。结果表明，与其他需要语言相关的后处理步骤的模型相比，我们的模型要么更好，要么与之相当。此外，我们还提出通过标点符号的使用，改善自然语言处理任务，如机器翻译。

    Nov, 2019

  • 在迁移学习时代的阿拉伯文加音标：只需进行标记分类

    PTCAD 是一种新的两阶段方法，将自动按音素对阿拉伯文本进行音标化，并在基准数据集上取得了最先进的结果，包括相对于现有基准数据的词错误率降低了 20％，在 ATD 任务中表现出优越的性能，超过了 GPT-4。

    Jan, 2024

  • Fine-Tashkeel: 优化字节级模型以实现精准的阿拉伯文文字加点

    本文研究如何利用预训练语言模型来学习阿拉伯语言中的符号标记，并通过微调模型来实现不需特征工程，最小化训练量的方式进行符号标记任务，从而取得了最新的指标

    Mar, 2023

  • 通过选择性字音符复原进行多义字消歧

    本文提出了一种自动标记一部分词汇以进行音标恢复的方法，从而实现有选择性的同形词消除，并将其在神经机器翻译、词性标注和语义文本相似度等下游应用中进行了评估。

    Dec, 2019

  • 阿拉伯语 ASR 中的语音符号识别性能

    本研究分析了阿拉伯语自动语音识别（ASR）系统中音标识别的表现，并比较了文本音标处理与 ASR 音标处理的表现。通过在不同音标化条件下对语音数据进行细化和对比，我们发现 ASR 音标处理特别是在手动音标化的情况下表现优异。

    Feb, 2023

  • 部分重音符号处理：基于上下文对比推理方法

    通过行为实验显示部分标记的文本阅读起来通常比完全标记的文本和普通文本更容易；引入了上下文对比部分音标化技术（CCPD），它与现有的阿拉伯语音标化系统无缝集成；引入用于衡量部分音标化质量的新指标（SR、PDER、HDER、ERE），对于建立机器学习任务至关重要；最后，引入了 TD2，这是一种变种 Transformer 的模型，与所有其他已知系统相比，在所提出的指标上具有明显不同的性能特征。

    Jan, 2024

  • 针对阿拉伯语的多样性进行负责任的自然语言注释

    本文提出在构建 NLP 模型时，需要关注文化和（社会）语言细微差别，特别是在数据集注释和文化语言方面的经验应该被纳入该过程中。提供了一个适用于多方言语言的负责数据集创建的示例。

    Mar, 2022

  • 阿拉伯语自然语言处理概述

    该研究对阿拉伯语的三个主要变体（MSA、AD 和 CA），特别是由拉丁字母和数字组成的 Arabizi 形式的文字，在阿拉伯文本处理中的挑战以及可用资源和工具方面进行了调查，并对最近研究论文进行了分类和总结。

    Mar, 2019