Jan, 2021

基于端到端、模块化系统和人类的阿拉伯语语音识别

PDF
TL;DR这篇文章探讨了自动语音识别方面的技术进展，并比较了针对阿拉伯语和其方言的端到端 Transformer ASR，模块化 HMM-DNN ASR 和人类讲话识别技术之间的性能差距，结果表明，人类在阿拉伯语方面表现仍然明显优于机器。
automatic speech recognitionasrend-to-end transformer asrmodular hmm-dnn asrarabic language
发现论文，激发创造
  • 一个模型统治所有：方言码转换阿拉伯语自动语音识别的多语言策略

    本研究采用自注意力机制，设计了一个大型的多语言端到端语音识别系统，使用阿拉伯语、英语和法语训练。我们评估了该系统在处理单语言、多方言以及代码转换等方面的表现，并与当前最先进的系统进行了比较。结果表明，我们的模型强于最先进的单语言方言阿拉伯语和代码转换阿拉伯语语音识别系统。

    May, 2021

  • 端到端语音识别综述

    该研究论文介绍了端到端自动语音识别模型的分类和改进，讨论了它们对传统隐马尔科夫模型的影响，涵盖了模型、训练、解码和外部语言模型集成等各个方面，同时讨论了性能和部署机会以及未来的发展前景。

    Mar, 2023

  • 利用预训练语言模型生成人类可读的自动语音识别转录

    本文提出了一个自动语音识别后处理模型，旨在将不正确和嘈杂的 ASR 输出转换为可读的文本，并使用元数据提取语料库构建了一种任务特定的数据集，并使用两阶段训练策略来微调 RoBERTa 预训练模型。在测试集上，我们的模型在可读性感知 WER（RA-WER）上比基线模型提高了 13.26％，在 BLEU 度量上提高了 17.53％。人类评估还证明我们的方法可以生成比基线更易读的转录本。

    Feb, 2021

  • ArzEn-LLM: 使用 LLM 进行代码切换的埃及阿拉伯语 - 英语翻译和语音识别

    该研究以机器翻译和自动语音识别系统为基础，探索埃及阿拉伯语和英语的代码切换现象，并提供了关于开发这些系统的方法学，使用了 LLama 和 Gemma 等大规模语言模型。该研究实验了 Whisper 模型在代码切换的埃及阿拉伯语识别中的应用，详细介绍了数据预处理和训练技术等实验过程。通过将自动语音识别与机器翻译相结合的连续语音转文本翻译系统的实现，研究旨在克服有限资源和埃及阿拉伯语方言的独特特点所带来的挑战。通过与已有指标的评估，我们的方法在英语翻译方面取得了 56% 的显著提高和 9.3% 的阿拉伯语翻译提高。由于代码切换在口头语言中是根深蒂固的，自动语音识别系统能够有效处理这一现象至关重要。这种能力对于实现各个领域的无缝交流至关重要，包括商务谈判、文化交流和学术讨论。我们的模型和代码可作为开源资源使用。

    Jun, 2024

  • 低资源方言阿拉伯语 - 英语代码切换语音语音识别系统研究

    本研究使用基于 DNN 的混合和 Transformer 的端到端模型构建自动语音识别系统并通过构建系统集成方法来提高识别率，结果表明两种模型相互补充且识别性能都不错。

    Aug, 2021

  • 在阿拉伯电话领域中评估自动语音识别系统的新基准

    该研究旨在介绍一个全面的阿拉伯语语音识别基准，专门针对阿拉伯语电话对话的挑战。通过使用多样化的方言表达并考虑电话录音的质量变化，该基准旨在为开发和评估在电话环境中处理阿拉伯语言复杂性的自动语音识别系统提供严格的测试平台，并尝试使用最先进的 ASR 技术建立基准性能评估。

    Mar, 2024

  • 苏丹方言的端到端自动语音识别模型

    本研究检验了针对苏丹语方言设计自动语音识别模型的可行性，并使用卷积神经网络设计了一种端到端语音识别模型，该模型在苏丹方言数据集上取得了 73.67% 的平均标签错误率

    Dec, 2022

  • 使用对抗和基于信号增强技术的阿拉伯语运动失调言语识别

    本文旨在通过多阶段增强方法来改进阿拉伯语言障碍患者的自动语音识别性能，具体包括使用基于信号的方法生成阿拉伯语言障碍患者的语音，并通过对英语语言障碍患者语音数据进行训练以进行多语言扩充，以及在不同的语音障碍程度下进行微调和文本纠正策略。通过这些方法，本文在阿拉伯语言障碍患者的语音数据集上实现了 18% 的词错误率和 17.2% 的字符错误率，相比只针对健康数据训练的基础模型，实现了 81.8% 的 WER 提升，并在真实的英文语言障碍患者语音数据集上实现了 124% 的 WER 提升。

    Jun, 2023

  • 工业级多语种自动语音识别的解剖

    描述了 AssemblyAI 的工业规模自动语音识别（ASR）系统的结构和性能优势，包括模型架构、词错误率、代码切换能力等关键方面。

    Apr, 2024

  • 大型预训练语言模型向端到端语音识别器的知识转移

    本文提出了一种方法，通过从大规模语言模型的嵌入向量获取语义知识来缓解需要耗费大量成本的转录训练的问题，并扩展了注意力机制的解码器和神经音响模式的解码器，以实现错误率的降低。

    Feb, 2022