EMNLPOct, 2023

VoxArabica: 一个强壮的方言感知阿拉伯语语音识别系统

PDF
TL;DRArabic is a complex language, and this research introduces VoxArabica, a system for dialect identification and automatic speech recognition (ASR) of Arabic, which includes training models for 17 different dialects, MSA, Egyptian, Moroccan, and mixed data, and offers options to choose various ASR models in a web interface.
发现论文，激发创造
  • 论鲁棒知识蒸馏的稳健性问题

    在阿拉伯语自动语音识别（ASR）方面存在独特的挑战，为了克服这些挑战，本研究采用知识蒸馏技术将大型教师模型提取为更高效的小型学生模型，引入了一份人工标注的新数据集以评估五个少见的阿拉伯方言。在现有基准测试和新的方言数据上，我们的最佳蒸馏模型整体表现优于现有模型（SeamlessM4T-large-v2，WER=47.0%）和教师模型（Whisper-large-v2，WER=55.1%），并且在新的方言数据上的平均性能（WER=56.9%）超过了所有其他模型。通过错误分析，揭示了这些模型在方言数据上表现不佳的主要错误类型。

    Jun, 2024

  • 阿拉伯广播语音的自动方言识别

    本文研究使用语音识别系统获得的音位、词汇特征以及基于 i - 向量框架的声学特征等不同方法来进行阿拉伯语方言识别的研究，使用多类支持向量机（SVM）综合这些特征，并在阿拉伯语 / 英语语言识别任务中获得 100％的准确率。在本研究中，我们使用这些特征作为二元分类器来对现代标准阿拉伯语（MSA）和方言阿拉伯语进行区分，获得了 100％的准确率，然后进一步报道了使用该方法来区分最广泛使用的阿拉伯语方言中的五种：埃及语，海湾语，黎凡特语，北非语和 MSA，准确率为 52％。本文讨论了方言识别的错误以及在方言阿拉伯语和 MSA 之间进行语言代码切换的上下文中的错误模式。最后我们释放了研究中使用的数据作为方言识别的标准语料库。

    Sep, 2015

  • 在阿拉伯电话领域中评估自动语音识别系统的新基准

    该研究旨在介绍一个全面的阿拉伯语语音识别基准，专门针对阿拉伯语电话对话的挑战。通过使用多样化的方言表达并考虑电话录音的质量变化，该基准旨在为开发和评估在电话环境中处理阿拉伯语言复杂性的自动语音识别系统提供严格的测试平台，并尝试使用最先进的 ASR 技术建立基准性能评估。

    Mar, 2024

  • 一个模型统治所有：方言码转换阿拉伯语自动语音识别的多语言策略

    本研究采用自注意力机制，设计了一个大型的多语言端到端语音识别系统，使用阿拉伯语、英语和法语训练。我们评估了该系统在处理单语言、多方言以及代码转换等方面的表现，并与当前最先进的系统进行了比较。结果表明，我们的模型强于最先进的单语言方言阿拉伯语和代码转换阿拉伯语语音识别系统。

    May, 2021

  • 利用数据收集和无监督学习对突尼斯阿拉伯语混合语音自动识别的提升

    本研究旨在解决突尼斯方言语音识别的挑战，通过采集和注释文本和音频数据，并探索自监督、半监督和少样本代码转换方法，使其在不同的突尼斯测试集中取得前沿成果，最终通过人工评估确保翻译的准确性，所提出的模型适用于突尼斯阿拉伯语、英语和法语的语言混合，并提供训练和测试数据供公众使用和进一步改进。

    Sep, 2023

  • 面向阿拉伯方言的零射 Text-To-Speech

    构建了一个包含多个方言的阿拉伯语音合成模型并通过评估表明其潜力大。

    Jun, 2024

  • 基于端到端、模块化系统和人类的阿拉伯语语音识别

    这篇文章探讨了自动语音识别方面的技术进展，并比较了针对阿拉伯语和其方言的端到端 Transformer ASR，模块化 HMM-DNN ASR 和人类讲话识别技术之间的性能差距，结果表明，人类在阿拉伯语方面表现仍然明显优于机器。

    Jan, 2021

  • 苏丹方言的端到端自动语音识别模型

    本研究检验了针对苏丹语方言设计自动语音识别模型的可行性，并使用卷积神经网络设计了一种端到端语音识别模型，该模型在苏丹方言数据集上取得了 73.67% 的平均标签错误率

    Dec, 2022

  • 为国家级方言识别创建的多方言阿拉伯 BERT

    本文介绍了 Mawdoo3 AI 团队开发的预训练 BERT 模型的表现，以及该模型在 Nuanced Arabic Dialect Identification（NADI）共享任务的子任务 1 中获胜的过程和方法，并公开了 Multi-dialect-Arabic-BERT 模型的预训练语言模型组件，供其他研究人员使用。

    Jul, 2020

  • 基于 N-Shot 的 Whisper 在多样化阿拉伯语音识别中的基准测试

    本研究对 Whisper 在多种阿拉伯口音（包括几种没见过的口音）上进行了综合评估，结果发现 Whisper 在零 - shot 设置下性能较好，但在五种未见过的方言上性能明显下降。

    Jun, 2023