Mar, 2022

适用于印度语的代码转换和混合语音识别

PDF
TL;DR本研究通过比较使用多语种和单语种模型进行语音识别的表现，提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术，取得了印度诸多语言语音识别的较好效果。
multilingual automatic speech recognitionend to end modellanguage identificationcode switched problemwav2vec 2.0
发现论文，激发创造
  • 利用单语数据源训练双语和混码语音识别模型

    本文介绍了一种新的聚合分词器方法，用于训练双语和混合语音自动语音识别模型，从而消除了获得语料库的限制，并演示了这种方法的有效性。

    Jun, 2023

  • 使用语言模型的语言切换语音识别：古吉拉特英语

    通过条件化变换器层上的语言 ID，我们提出了两种引入语言特定参数和可解释性以及实现辅助性的时间损失方法，以改进端到端自动语音识别模型的性能。尽管无法显著减少词错误率，但我们的方法在通过仅仅的口语数据预测正确语言方面表现出潜力。我们通过在序列中删除语言 ID 来引入语言预测的正则化，有助于对齐长重复的输出序列。

    Mar, 2024

  • 端到端的混合语言模型用于自动语音识别

    本文利用深度双向语言模型如 BERT 和其他机器翻译模型提出了一种提取单语文本的方法，以及探索从 ASR 模型中提取混合文本的不同方法，并通过比较混杂度和其他不同指标（如 WER）的结果与标准的双语文本输出来说明模型的稳健性。

    Jun, 2020

  • 多语音识别中的代码切换适配器适应

    本文提出了在代码转换的语音中有效地微调大型预训练多语言语音模型的方法，并将代码转换建模为一系列潜在的二进制序列，以引导每个语言适配器在帧级别上的信息流，通过在阿拉伯语、普通话和印地语等多种语言与英语配对的数据集上的评估，显示出代码转换性能的持续改进，至少可以将语音识别错误率 (CER) 降低 10％。

    Oct, 2023

  • 用合成的混合语文本生成优化双语神经转换器

    本研究探讨了如何针对混杂语音优化基于神经传递器的双语自动语音识别系统，发现半监督训练和合成的混合开关数据可以改善这一系统的性能。同时，我们分析了每个神经传递器编码器对混合开关性能的影响，并在 ASCEND 数据集上评估了我们的英语 / 普通话系统，其混合错误率为 25％，较文献节省 2.1％，同时保持好的单语测试集准确性。

    Oct, 2022

  • 低资源方言阿拉伯语 - 英语代码切换语音语音识别系统研究

    本研究使用基于 DNN 的混合和 Transformer 的端到端模型构建自动语音识别系统并通过构建系统集成方法来提高识别率，结果表明两种模型相互补充且识别性能都不错。

    Aug, 2021

  • DuDe：基于共同标签集的印度语双解码多语言 ASR

    本研究探讨了建立多语种自动语音识别系统的方法，提出了一种名为 “Encoder-Decoder-Decoder” 的新型架构，将常见标签集与本土语音标签相结合，同时分析了基于常见标签集的多语种系统与机器转写相结合的有效性。

    Oct, 2022

  • 使用单一端到端模型的多语言语音识别

    本文介绍了一种基于序列到序列的正常语音识别模型，它适用于 9 种不同的印度语言，并通过训练语言特定的字形集合，将这些语言联合起来训练模型以提高其性能。

    Nov, 2017

  • 一个模型统治所有：方言码转换阿拉伯语自动语音识别的多语言策略

    本研究采用自注意力机制，设计了一个大型的多语言端到端语音识别系统，使用阿拉伯语、英语和法语训练。我们评估了该系统在处理单语言、多方言以及代码转换等方面的表现，并与当前最先进的系统进行了比较。结果表明，我们的模型强于最先进的单语言方言阿拉伯语和代码转换阿拉伯语语音识别系统。

    May, 2021

  • 利用语言模型提高印度语言的语音识别

    本文探究了应用语言模型（LM）到印欧语系语言的自动语音识别（ASR）系统输出结果的影响。我们使用来自多种来源的文本对 18 种印欧语系语言的 wav2vec 2.0 模型进行微调，并进行结果调整。我们的研究结果显示，经过 LM 解码后，字符错误率（CER）平均降低了 28％以上，单词错误率（WER）平均降低了约 36％。文章还表明，与多样化的 LM 相比，大型 LM 可能不会带来更大的改进。此外，我们还展示了可以在不重新训练 ASR 模型的情况下在生物医学领域的专业数据上获得高质量翻译的结果。

    Mar, 2022