Oct, 2023

ArBanking77：意图检测的神经模型与现代及辩证阿拉伯语言的新数据集

PDF
TL;DR这篇论文介绍了 ArBanking77，这是一个在银行领域用于意图检测的大型阿拉伯语数据集。我们从原始的英文 Banking77 数据集进行了阿拉伯化和本土化处理，生成了 ArBanking77 数据集，其中包含了 31,404 个现代标准阿拉伯（MSA）和巴勒斯坦方言的查询，每个查询被分类为 77 个类别（意图）。此外，我们还提出了基于 AraBERT 的神经模型，经过在 ArBanking77 上微调后，在 MSA 和巴勒斯坦方言上分别获得了 0.9209 和 0.8995 的 F1 分数。我们进行了大量实验证明，在低资源环境下，该模型通过在部分数据上训练，并使用噪声查询进行扩充以模拟现实中自然语言处理系统（尤其是实时聊天查询）中的口语术语、错误和拼写错误。数据集和模型均可在此链接处公开获得。
arbanking77intent detectionarabic datasetneural modellow-resource settings
发现论文，激发创造
  • DarijaBanking：克服摩洛哥阿拉伯语使用者在银行交流中的语言障碍的新资源

    该研究提出了一种用于改善摩洛哥客户本地语言中的银行意图分类的新型数据集 DarijaBanking，并介绍了一种名为 BERTouch 的基于 BERT 的语言模型，以实现对 Darija 的意图分类。

    May, 2024

  • 101 亿阿拉伯语词汇数据集

    该研究致力于解决阿拉伯地区数据稀缺的问题，以鼓励开发真实地反映该地区语言和细微差异的阿拉伯语言模型。通过从 Common Crawl WET 文件中提取大量阿拉伯文本数据，经过严格的清洗和去重处理，形成了迄今为止最大的 1010 亿阿拉伯词汇数据集，这将对真实的阿拉伯语言模型的发展产生重要贡献。该研究不仅强调了创造语言和文化准确的阿拉伯语言模型的潜力，还为增强阿拉伯语言模型的真实性奠定了未来研究的先例。

    Apr, 2024

  • OSN-MDAD：在线社交媒体上阿拉伯多方言对话的机器翻译数据集

    通过翻译英文推文到阿拉伯文的海湾、也门、伊拉克和黎凡特方言，我们构建了一个在线社交网络基础多方言阿拉伯文数据集，用以改善阿拉伯文多方言机器翻译系统的性能。

    Sep, 2023

  • 为国家级方言识别创建的多方言阿拉伯 BERT

    本文介绍了 Mawdoo3 AI 团队开发的预训练 BERT 模型的表现，以及该模型在 Nuanced Arabic Dialect Identification（NADI）共享任务的子任务 1 中获胜的过程和方法，并公开了 Multi-dialect-Arabic-BERT 模型的预训练语言模型组件，供其他研究人员使用。

    Jul, 2020

  • 面向阿拉伯语多模态情感分析数据集

    本文主要研究了基于深度学习与多模态语料库的阿拉伯情感分析的数据集，通过使用最先进的 transformers 和特征提取工具来建立我们的阿拉伯多模态数据集，并使用 state-of-the-art 的 transformer-based model 验证我们的数据集，研究表明阿拉伯多模态情感分析非常有前途。

    Jun, 2023

  • AraStance：多国家与多领域的阿拉伯语态度检测数据集，用于事实核查

    该研究针对在线上的虚假信息和误导信息的不断传播，通过使用检索到的相关文档的立场检测来解决争论真实性预测的问题，并推出了一个有多个语言支持的自动化系统来进行大规模的对抗，其中最佳的 BERT-based model 可达到 85％的准确率和 78％的宏 F1 分数。

    Apr, 2021

  • 基于 MARBERT 的阿拉伯方言标识改进：参加 NADI 2021 共享任务

    本研究用 MARBERT 建立了一个 ensemble 模型来对短 DA 和 MSA 阿拉伯口语进行地理起源的识别，并在 4 个子任务上展现了最新的研究成果，进一步提高了之前工作 F1 评分约 7.63%。

    Mar, 2021

  • 低资源语言的跨语言金融交易数据 NER

    我们提出了一个高效的建模框架，用于半结构化文本数据中的跨语言命名实体识别。我们的方法依赖于知识蒸馏和一致性训练，并且利用预训练在源语言上的大型语言模型（XLMRoBERTa）的知识，通过学生 - 教师关系（知识蒸馏）。学生模型在低资源目标语言上采用无监督的一致性训练（使用 KL 散度损失）。我们使用两个独立的 SMS 数据集，分别是英语和阿拉伯语，每个数据集都携带有半结构化的银行交易信息，并侧重展示从英语到阿拉伯语的知识传递。通过仅使用 30 个标记样本，我们的模型可以将商家、金额和其他字段的识别从英语推广到阿拉伯语。我们的实验表明，在低资源语言的少量标记样本的情况下，学习在英语中识别实体就足以在低资源语言中达到合理的性能。该提出的框架对于开发多语言应用程序，尤其是在数字化努力依赖英语和一种或多种低资源语言的地理区域具有重要意义，有时与英语混合使用或独立使用。

    Jul, 2023

  • 使用预训练语言模型进行阿拉伯语及其方言的形态句法标注

    该研究利用预训练转换器语言模型对不同形式的阿拉伯语进行形态句法标记，优于现有系统，在不同区域的阿拉伯语可获得显著改进，特别是在资源匮乏的情况下，利用其他高资源方言的数据进行微调，以及使用高质量的形态分析器作为外部语言资源是有益的。

    Oct, 2021

  • ArabicaQA: 阿拉伯问答系统的综合数据集

    本文介绍了 ArabicaQA，这是第一个用于阿拉伯语机器阅读理解和开放域问题回答的大规模数据集，包含了 89095 个可回答和 3701 个无法回答的问题，以及其他标记的开放域问题。同时还介绍了 AraDPR，这是第一个针对阿拉伯文本检索的密集段落检索模型，经过阿拉伯维基百科语料库的训练，专门用于解决阿拉伯文本检索中的独特挑战。此外，我们还对大型语言模型在阿拉伯语问题回答中进行了广泛的基准测试，并对其在阿拉伯语环境中的性能进行了批判性评估。总之，ArabicaQA、AraDPR 和在阿拉伯语问题回答中的语言模型基准测试为阿拉伯语自然语言处理领域带来了重要的进展。数据集和代码对于进一步研究都是公开可访问的。

    Mar, 2024