EMNLPOct, 2020

微方言识别在混杂语环境中的应用

PDF
TL;DR介绍了微方言识别 (MDI) 的新任务，提出了一个新语言模型 MARBERT，可以通过单个短消息预测微小城市级别的语言方言，并通过新数据集证明了该模型的实用性，达到了 9.9% F1 的精度，且在其他任务上实现了最新的最佳表现。
micro-dialect identificationlanguage modelmulti-task learningarabic micro-varietiesstate-of-the-art
发现论文，激发创造
  • 基于 MARBERT 的阿拉伯方言标识改进：参加 NADI 2021 共享任务

    本研究用 MARBERT 建立了一个 ensemble 模型来对短 DA 和 MSA 阿拉伯口语进行地理起源的识别，并在 4 个子任务上展现了最新的研究成果，进一步提高了之前工作 F1 评分约 7.63%。

    Mar, 2021

  • 为国家级方言识别创建的多方言阿拉伯 BERT

    本文介绍了 Mawdoo3 AI 团队开发的预训练 BERT 模型的表现，以及该模型在 Nuanced Arabic Dialect Identification（NADI）共享任务的子任务 1 中获胜的过程和方法，并公开了 Multi-dialect-Arabic-BERT 模型的预训练语言模型组件，供其他研究人员使用。

    Jul, 2020

  • MDIA：46 种语言多语对话生成的基准

    本文介绍了 mDIA，这是第一个跨越低至高资源语言的大规模多语言对话生成基准。通过微调 mT5 和 DialoGPT 两种预训练模型，作者对 46 种语言中的真实对话进行了基线测试，结果表明 mT5 模型在 sacreBLEU 和 BertScore 方面表现更好，但在多样性方面表现较差。尽管在少量训练和零样本情况下表现出有希望的结果，但英语和其他语言之间的生成质量仍存在较大差距。作者希望发布 mDIA 可以促进更多有关生成多语言对话的研究，以促进语言多样性。

    Aug, 2022

  • 通过对话理解评估语言模型的方言鲁棒性

    增强学习模型（LLMs）在不同英语方言上的表现以及预测和选择目标词的任务的采用的方法与结果

    May, 2024

  • CODET: 机器翻译方言对比评估基准

    通过发布一个对比方言基准数据集，我们量化展示了大型 NMT 模型在有效翻译方言变体时面临的挑战。

    May, 2023

  • 基于数据增强的方言调适对 LLMs

    该研究报告通过使用不同类型的语言模型并利用数据增强技术，提出了一种结合方法，旨在改善南斯拉夫南方微方言上大规模语言模型（LLMs）的通识推理能力评估，通过实验证明数据增强技术能够显著提升开源型模型类别在三个南斯拉夫方言（Chakavian、Cherkano 和 Torlak）的测试数据集上的性能，突出了数据增强的实际效用和 LLMs 在处理非标准方言方面的潜力以推进低资源和方言环境下的自然语言理解。

    Apr, 2024

  • 阿拉伯方言识别审视：单标签分类的局限性

    Automatic Arabic Dialect Identification (ADI) 系统无法准确区分阿拉伯语的微方言，我们建议将 ADI 任务构建为多标签分类任务并提供设计新的 ADI 数据集的建议。

    Oct, 2023

  • ARBERT 和 MARBERT: 面向阿拉伯语的深度双向转换器

    本文提出了两个基于深度双向变压器的模型 ARBERT 和 MARBERT，并引入了一个针对多语言阿拉伯语理解评估的基准 ARLUE。在 42 个数据集上进行了一系列基准实验，结果表明将这两种模型细化后在大多数任务上取得了最先进的结果并提供了公共可用的模型。

    Dec, 2020

  • 阿拉伯广播语音的自动方言识别

    本文研究使用语音识别系统获得的音位、词汇特征以及基于 i - 向量框架的声学特征等不同方法来进行阿拉伯语方言识别的研究，使用多类支持向量机（SVM）综合这些特征，并在阿拉伯语 / 英语语言识别任务中获得 100％的准确率。在本研究中，我们使用这些特征作为二元分类器来对现代标准阿拉伯语（MSA）和方言阿拉伯语进行区分，获得了 100％的准确率，然后进一步报道了使用该方法来区分最广泛使用的阿拉伯语方言中的五种：埃及语，海湾语，黎凡特语，北非语和 MSA，准确率为 52％。本文讨论了方言识别的错误以及在方言阿拉伯语和 MSA 之间进行语言代码切换的上下文中的错误模式。最后我们释放了研究中使用的数据作为方言识别的标准语料库。

    Sep, 2015

  • 面向阿拉伯方言变异鲁棒性的参数和数据高效连续预训练

    在使用多语言语言模型进行低资源和高资源语言的任务中，阿拉伯语的方言差异引起了广泛关注。本文采用 mBERT 预训练和两种持续预训练方法，证明这些方法都可以帮助提高方言分类任务的性能。

    Nov, 2022