Oct, 2022

波斯 - 阿拉伯文的书写规范化

PDF
TL;DR本文讨论了波斯 - 阿拉伯文字在自然语言处理方面的挑战，强调了正规化对于脚本变异的重要性，并对 8 种语言的机器翻译和统计语言建模任务的性能进行了评估。结果表明，大多数条件下应用正规化可以显着提高性能，并指出了在语言资源匮乏的情况下，更好地理解和呈现区域正字传统内波斯 - 阿拉伯脚本变化对于现代计算机自然语言处理技术的进一步发展至关重要
perso-arabic scriptnatural language processingscript normalizationorthographic traditionmachine translation
发现论文，激发创造
  • 双语社区中基础语言规范化对不充分资源语言的非常规书写的影响

    本文研究在社交媒体上，通过使用建模技术，对不同语言，特别是那些主要使用波斯 - 阿拉伯语脚本书写的语言的脚本归一化的问题进行了处理，而这有助于提高机器翻译和语言识别等下游任务的性能。

    May, 2023

  • 波斯阿拉伯文：用于操纵波斯阿拉伯文字符的软件

    本文介绍了一个开源软件库，为操作使用波斯 - 阿拉伯字母表的语言的书写系统提供了一组有限状态转移器（FST）组件和相应的实用工具，包括各种级别的脚本标准化、简便的拼音和音译功能。我们还提供了一对多的 Unicode 编码点到使用这些点的语言的映射，以提供处理接近于十亿人使用的字母表的脚本家族的统一框架。

    Jan, 2023

  • 针对波斯 - 阿拉伯文脚本的语言识别基准测试 PALI

    本文介绍了如何在 Perso-Arabic scripts 中实现语言检测。作者使用了一系列的监督技术来分类句子到他们的语言中，进而提出了一个层次模型来针对那些经常被分类器混淆的语言困境进行解决。实验结果表明了作者们得到的实现是有效的。

    Apr, 2023

  • 自动方言文本规范化中的方言识别技术的应用

    阐述了方言阿拉伯语在社交媒体平台上的使用扩展以及由此带来的挑战，提出了 CODAfication 任务的解决方案，并通过使用方言识别信息来改善性能，在多个阿拉伯方言上进行了测试和预训练模型的评估。

    Jul, 2024

  • 突尼斯阿拉伯语规范拼写

    突尼斯阿拉伯语的标准正字法（NOTA）是根据阿拉伯语系列资源发展的目的定制的 CODA 指南的一个适应性版本，旨在解决准确表示突尼斯语音和形态学特征的挑战，并纠正基于与现代标准阿拉伯语相似性的转录所导致的问题。

    Feb, 2024

  • 野外阿拉伯语音调符号：利用机会改进音调标记

    通过探索阿拉伯语自然语言处理中的 “野生变音符号” 实例，本文提出了一个新的标注数据集，并提出了对阿拉伯语自然语言处理中的分析和消岐方法的扩展，以利用这些变音符号，从而实现显著的改进。

    Jun, 2024

  • MANorm: 使用拉丁文字写成的摩洛哥阿拉伯方言的规范化字典

    本研究利用基于 YouTube 评论语料库的词嵌入模型及提供了标准规范形式的摩洛哥阿拉伯语词典 MANorm，实现了摩洛哥阿拉伯语方言的规范化，证明其有效性。

    Jun, 2022

  • 阿拉伯文无点表示：分析与建模

    这篇论文介绍了阿拉伯文无点表示法作为标准阿拉伯文本表示法的一种选择，通过对五个不同的语料库和四种不同的分词技术进行全面分析，探讨了它的潜在影响。同时，我们还通过文本熵计算分析了无点表示法与标准文本的信息密度，并使用各种文本语料库和分词技术构建了统计和神经语言模型，与使用标准阿拉伯文本表示法开发的语言模型进行了比较评估。最后，利用平行语料库，我们对阿拉伯文本与英文文本的文本分析进行了比较，以获取更多的见解。我们的发现揭示了无点表示法在各种自然语言处理任务中的潜在优势，为阿拉伯语自然语言处理的进一步探索铺平了道路。

    Dec, 2023

  • 阿拉伯语自然语言处理概述

    该研究对阿拉伯语的三个主要变体（MSA、AD 和 CA），特别是由拉丁字母和数字组成的 Arabizi 形式的文字，在阿拉伯文本处理中的挑战以及可用资源和工具方面进行了调查，并对最近研究论文进行了分类和总结。

    Mar, 2019

  • 从天城文转写为波斯 - 阿拉伯文之间的信德语转写

    本文提出脚本转换（音译）技术，可将德瓦那加里文的信迪文本转换为波斯阿拉伯文，实现了 99.64% 的整体精度。

    May, 2023