Dec, 2023

USTHB 参加 NADI 2023 共享任务：探索阿拉伯方言识别的预处理和特征工程策略

PDF
TL;DR该研究针对阿拉伯方言识别的国家级方言识别这一子任务，对表面预处理、形态预处理、FastText 向量模型和 TF-IDF 特征的加权拼接等多个关键因素进行深入分析，使用线性支持向量分类（LSVC）模型进行分类，并取得了显著成果，F1 得分为 62.51%，接近于该子任务所提交其他系统的平均 F1 得分 72.91%。
arabic dialect identificationnadi'2023surface preprocessingmorphological preprocessinglinear support vector classification (lsvc)
发现论文，激发创造
  • 2023 年 NADI 共享任务中的 Mavericks：使用基于 Transformer 的方法解开方言辨识中的区域细微差别

    该研究提出了对 “Nuanced Arabic Dialect Identification (NADI) Shared Task 2023” 的方法，着重介绍了处理与国家级方言识别相关的子任务 1 的方法。该研究利用使用涵盖 18 种方言的 Twitter 数据集（TWT-2023）进行多类别分类问题的研究，采用基于 transformer 的预训练模型进行国家级方言识别，并利用集成方法提高了系统的性能，在测试数据集中取得了 76.65 的 F1 得分（排名第 11 位）。

    Nov, 2023

  • 为国家级方言识别创建的多方言阿拉伯 BERT

    本文介绍了 Mawdoo3 AI 团队开发的预训练 BERT 模型的表现，以及该模型在 Nuanced Arabic Dialect Identification（NADI）共享任务的子任务 1 中获胜的过程和方法，并公开了 Multi-dialect-Arabic-BERT 模型的预训练语言模型组件，供其他研究人员使用。

    Jul, 2020

  • NADI 2023：第四届阿拉伯语细分方言识别共享任务

    第四届 Nuanced Arabic Dialect Identification 共享任务（NADI 2023）的研究结果是：通过提供新颖的数据集和定义有意义的子任务，NADI 旨在推动最先进的阿拉伯语自然语言处理研究，并在标准化条件下促进团队合作和比较不同方法。该研究目标包括方言识别和方言到 MSA 机器翻译，参与的团队中获胜者在这些子任务中表现出色。结果表明这些子任务仍然具有挑战性，有助于推动未来相关工作的进行。

    Oct, 2023

  • NADI 2022：第三届阿拉伯语言方言细粒度识别任务

    本论文介绍了第三届 Nuanced Arabic Dialect Identification Shared Task（NADI 2022）的结果，该任务旨在推动阿拉伯语自然语言处理等领域的发展，其中涉及到阿拉伯方言的识别和情感分析，通过标准化语境提供多样化的数据集和建模机会，共有 41 个团队注册本次任务，实际参与的有 21 个团队（105 个有效提交），其中 19 个团队参与 Subtask 1，10 个团队参与 Subtask 2。最终，获胜的团队在 Subtask 1 上取得了 27.06 的 F1 得分，在 Subtask 2 上的 F1 得分为 75.16，反映出这两个子任务仍然具有挑战性，需要进行更多未来的工作。

    Oct, 2022

  • NADI 2020: 第一届 Nuanced 阿拉伯语方言识别共享任务

    本文介绍首个 Nuanced Arabic Dialect Identification Shared Task (NADI)，包含两个子任务，即 Subtask 1 和 Subtask 2。共有 61 个团队参与，其中 Subtask 1 有 18 个团队的 47 个提交，Subtask 2 有 9 个团队的 9 个提交。该活动旨在以子国家水平针对自然出现的细粒度方言文本进行目标识别，数据源自于 Twitter 领域。

    Oct, 2020

  • 基于 MARBERT 的阿拉伯方言标识改进：参加 NADI 2021 共享任务

    本研究用 MARBERT 建立了一个 ensemble 模型来对短 DA 和 MSA 阿拉伯口语进行地理起源的识别，并在 4 个子任务上展现了最新的研究成果，进一步提高了之前工作 F1 评分约 7.63%。

    Mar, 2021

  • NADI 2021：第二届阿拉伯语细分方言识别共享任务

    介绍了 NADI 2021 第二次 Nuanced 阿拉伯方言识别共享任务的研究结果，该任务包括四个子任务：国家级 Modern Standard Arabic (MSA) 识别、国家级方言识别、省份级 MSA 识别和省份级子方言识别，并介绍了数据集和参与者情况。

    Mar, 2021

  • 又一个阿拉伯方言识别模型

    本篇论文描述了一个用于阿拉伯语的口语方言识别 (ADI) 模型，该模型在两个基准数据集 ADI-5 和 ADI-17 上始终表现优于先前发表的结果。我们探索了两种不同的架构变体：ResNet 和 ECAPA-TDNN，以及两种类型的声学特征：MFCC 和从预训练的自监督模型 UniSpeech-SAT Large 提取的特征，以及所有四个变体的融合。我们发现，ECAPA-TDNN 网络表现优于 ResNet，而具有 UniSpeech-SAT 特征的模型远远优于具有 MFCC 特征的模型。此外，所有四个变体的融合一致优于单个模型。我们的最佳模型在两个数据集上的准确率分别为 84.7% 和 96.9%，超过了先前报道的结果。

    Oct, 2023

  • 使用预训练语言模型进行阿拉伯语及其方言的形态句法标注

    该研究利用预训练转换器语言模型对不同形式的阿拉伯语进行形态句法标记，优于现有系统，在不同区域的阿拉伯语可获得显著改进，特别是在资源匮乏的情况下，利用其他高资源方言的数据进行微调，以及使用高质量的形态分析器作为外部语言资源是有益的。

    Oct, 2021

  • 阿拉伯广播语音的自动方言识别

    本文研究使用语音识别系统获得的音位、词汇特征以及基于 i - 向量框架的声学特征等不同方法来进行阿拉伯语方言识别的研究，使用多类支持向量机（SVM）综合这些特征，并在阿拉伯语 / 英语语言识别任务中获得 100％的准确率。在本研究中，我们使用这些特征作为二元分类器来对现代标准阿拉伯语（MSA）和方言阿拉伯语进行区分，获得了 100％的准确率，然后进一步报道了使用该方法来区分最广泛使用的阿拉伯语方言中的五种：埃及语，海湾语，黎凡特语，北非语和 MSA，准确率为 52％。本文讨论了方言识别的错误以及在方言阿拉伯语和 MSA 之间进行语言代码切换的上下文中的错误模式。最后我们释放了研究中使用的数据作为方言识别的标准语料库。

    Sep, 2015