Dec, 2023

阿拉伯文无点表示：分析与建模

PDF
TL;DR这篇论文介绍了阿拉伯文无点表示法作为标准阿拉伯文本表示法的一种选择，通过对五个不同的语料库和四种不同的分词技术进行全面分析，探讨了它的潜在影响。同时，我们还通过文本熵计算分析了无点表示法与标准文本的信息密度，并使用各种文本语料库和分词技术构建了统计和神经语言模型，与使用标准阿拉伯文本表示法开发的语言模型进行了比较评估。最后，利用平行语料库，我们对阿拉伯文本与英文文本的文本分析进行了比较，以获取更多的见解。我们的发现揭示了无点表示法在各种自然语言处理任务中的潜在优势，为阿拉伯语自然语言处理的进一步探索铺平了道路。
dotless representationarabic texttokenization techniqueslanguage modelsnlp tasks
发现论文，激发创造
  • 对增强的阿拉伯语语言模型的分词策略和词汇量进行探索

    本研究通过考察不同的分词策略和词汇量对阿拉伯语言模型在自然语言处理任务中的表现影响，全面探究了其对新闻分类、仇恨言论检测、情感分析和自然语言推理等多个任务的有效性。结果显示，Farasa 的字节对编码 (BPE) 在多个任务中表现优于其他策略，突显了形态分析在捕捉阿拉伯语言细微差异方面的重要性。然而，在情感分析中存在方言特定的分割问题，影响模型效率。计算效率分析验证了 Farasa 的 BPE 的稳定性，表明其实际可行性。研究发现，词汇量对模型性能的影响有限，在不改变模型大小的前提下。这挑战了关于词汇量、模型大小和下游任务关系的既有信念，强调了对模型大小及其对应词汇量进行研究以在不同领域泛化和减少偏差的重要性，尤其是在基于方言的数据集中。本文建议改进分词策略以解决方言挑战，增强模型在不同语境中的鲁棒性，并扩大数据集以涵盖丰富的基于方言的阿拉伯语言。这项研究不仅推进了对阿拉伯语言模型的理解，而且为针对阿拉伯语言的复杂性定制的自然语言处理技术的负责和道德性发展奠定了基础。

    Mar, 2024

  • 面向语言建模的大规模多样化阿拉伯语语料库

    这项研究介绍了一个由超过 500GB 的阿拉伯语言清理文本构成的语料库，旨在提高大规模语言模型的跨领域知识和下游泛化能力。此外，该语料库还被用于大型阿拉伯语言模型的训练，在对典型的 NLP 任务进行微调时，与 mBERT 相比表现出 4.5% 至 8.5% 的显着提升，据我所知，这是目前所收集的最大、最清洁、最具多样性的阿拉伯语语料库。

    Jan, 2022

  • 波斯 - 阿拉伯文的书写规范化

    本文讨论了波斯 - 阿拉伯文字在自然语言处理方面的挑战，强调了正规化对于脚本变异的重要性，并对 8 种语言的机器翻译和统计语言建模任务的性能进行了评估。结果表明，大多数条件下应用正规化可以显着提高性能，并指出了在语言资源匮乏的情况下，更好地理解和呈现区域正字传统内波斯 - 阿拉伯脚本变化对于现代计算机自然语言处理技术的进一步发展至关重要

    Oct, 2022

  • 野外阿拉伯语音调符号：利用机会改进音调标记

    通过探索阿拉伯语自然语言处理中的 “野生变音符号” 实例，本文提出了一个新的标注数据集，并提出了对阿拉伯语自然语言处理中的分析和消岐方法的扩展，以利用这些变音符号，从而实现显著的改进。

    Jun, 2024

  • 阿拉伯语 Transformer 模型的事后分析

    对在不同阿拉伯语方言上训练的 transformer 模型进行层与神经元分析，研究有趣的发现如下：①单词形态在较低和中间层次上学习，②句法依赖在较高层次上被捕获，③虽然 MSA 模型的词汇表与方言词汇表有很大重叠，但仍然无法捕捉阿拉伯语方言的微妙之处，④嵌入层的神经元是一词多义的，而中间层的神经元仅适用于特定属性。

    Oct, 2022

  • 是否对文本进行标记化：跨语言转移的文本表示的比较研究

    选择一个合适的分词方案通常是低资源跨语言转移的瓶颈。为了理解文本表示选择的后续影响，我们对具有不同文本表示模式的语言模型进行了比较分析，包括 2 个基于分词的模型（BERT，mBERT）、一个基于图像的模型（PIXEL）和一个基于字符级别的模型（CANINE）。通过提出的评分语言系数（LQ），我们在 19 种源语言和 133 种目标语言上执行了涵盖 POS 标记、依赖解析和 NER 的实验证明了基于图像的模型在语言密切相关且具有相似视觉脚本的情况下，在跨语言转移中表现出色。然而，在偏向于词义（POS，NER）的任务中，基于分词的模型表现优越。此外，在强依赖于词汇关系的依赖解析任务中，具有字符级别关注的模型胜过其他模型。最后，根据我们的发现，我们提出了一个基于我们的研究成果的建议方案，以指导根据任务和语言要求进行模型选择。

    Oct, 2023

  • 阿拉伯语可读性建模策略

    本文利用不同的方法从基于规则的方法到预训练的阿拉伯语言模型，针对阿拉伯语可读性评估提供了一系列实验结果。我们在不同的文本粒度级别（单词和句子片段）上报告了新创建的语料库上的结果。我们的结果表明，结合不同的技术可以取得最佳结果，在盲测集上的宏 F1 分数在单词级别为 86.7，在片段级别为 87.9。我们公开提供我们的代码、数据和预训练模型。

    Jul, 2024

  • 101 亿阿拉伯语词汇数据集

    该研究致力于解决阿拉伯地区数据稀缺的问题，以鼓励开发真实地反映该地区语言和细微差异的阿拉伯语言模型。通过从 Common Crawl WET 文件中提取大量阿拉伯文本数据，经过严格的清洗和去重处理，形成了迄今为止最大的 1010 亿阿拉伯词汇数据集，这将对真实的阿拉伯语言模型的发展产生重要贡献。该研究不仅强调了创造语言和文化准确的阿拉伯语言模型的潜力，还为增强阿拉伯语言模型的真实性奠定了未来研究的先例。

    Apr, 2024

  • 解释阿拉伯语 Transformer 模型

    本研究探究了基于不同阿拉伯语言方言预训练模型的内部表示，并使用三种内在任务对这些模型进行了层和神经元分析，包括两种基于 MSA 的形态标注任务和一种方言识别任务。研究发现，单词形态是在较低和中间层中学习的；方言识别需要更多的知识，因此即使在最终层中也需要保留；尽管词汇有很大的重叠，基于 MSA 的模型无法捕捉阿拉伯语方言的细微差别，而嵌入层中的神经元是多义的，而中间层中的神经元则专门用于特定的属性。

    Jan, 2022

  • 阿拉伯文词级可读性可视化助于文本简化

    这篇论文介绍了一种适用于 Google 文档的阿拉伯语单词可读性可视化的插件，它包括一个连接到五级可读性词汇表和基于阿拉伯 WordNet 的替换建议的词形还原组件。该插件可用于评估文本的阅读难度和识别文本简化任务中的难词。我们公开提供我们的插件和其代码。

    Oct, 2022