Nov, 2017

双语模型用于混合语言语音识别

PDF
TL;DR本文提出了一种针对双语混杂文本的语言模型的新方法，即双语言模型，该方法使用单一语言模型的结构来改进标准的双语言模型，并将两个互补的单一语言模型结合在一起，以概率切换模型进行切换。我们使用一种会话式汉英语音语料库评估了该方法的有效性，并证明了我们的模型的鲁棒性，表明在不使用任何外部信息的情况下，在困惑度措施和自动语音识别错误率方面都会显著提高。
bilingualcode-switched textlanguage modelingdual language modelsmonolingual language models
发现论文，激发创造
  • 端到端的混合语言模型用于自动语音识别

    本文利用深度双向语言模型如 BERT 和其他机器翻译模型提出了一种提取单语文本的方法，以及探索从 ASR 模型中提取混合文本的不同方法，并通过比较混杂度和其他不同指标（如 WER）的结果与标准的双语文本输出来说明模型的稳健性。

    Jun, 2020

  • 语言建模用于代码交替：评估、整合单语数据和判别式训练

    本文研究语言建模在代表代码切换语言的语境下在自动语音识别（ASR）中所存在的难题，针对三个难点分别提出解决方案：如何从缺乏大规模训练数据、ASR 系统中与语言建模相关的性能测试的实现方法以及基于生成式模型所存在的缺陷，我们构建了一个独立于 ASR 系统和词汇选择的评估数据集和评估方式，并采用一种判别式训练方法，证明其比生成式更加有效。最后，我们探索了多种训练协议，并验证了使用大量单语数据随后加上小量的代码切换数据来进行精调训练的可行性。

    Oct, 2018

  • 使用双重 RNN 和相同源预训练的代码交换语言模型

    该研究通过两种技术改善了代码混合文本的语言模型，提出了一个创新的循环神经网络单元和通过生成模型合成文本进行预训练的方法，实验结果显示，在汉英任务中我们的方法显著降低了困惑度。

    Sep, 2018

  • 利用单语数据源训练双语和混码语音识别模型

    本文介绍了一种新的聚合分词器方法，用于训练双语和混合语音自动语音识别模型，从而消除了获得语料库的限制，并演示了这种方法的有效性。

    Jun, 2023

  • 使用神经合成数据的混合语言模型来处理句子间的平行语言切换

    为了解决训练混合语言模型的困难，本研究提出了一种基于序列 - 序列模型及 copy 机制的新型训练方法，通过有限的混合语言数据和单语数据的并行翻译生成需要的混合语言数据，且无需对齐或分析，实现了良好的表现，并显著提高了末端自动语音识别。

    Sep, 2019

  • 多语言模型在代码交错中有效吗？

    本文研究了多语言语言模型在代码切换任务中的应用效果，通过研究实验得出使用元嵌入方法能够在参数数量减少的情况下取得类似的结果。

    Mar, 2021

  • 使用语法感知多任务学习的代码切换语言建模

    本研究提出了一种基于多任务学习的语言模型，其共享语言的语法表示，从而利用语言学信息并解决低资源数据问题，通过同时学习语言建模和语音标记来识别代码切换点的位置并改进下一个词的预测，实验表明该方法在 SEAME Phase I 和 Phase II 数据集上的困惑度分别提高了 9.7% 和 7.4%，优于基于标准 LSTM 的语言模型。

    May, 2018

  • 多语音识别中的代码切换适配器适应

    本文提出了在代码转换的语音中有效地微调大型预训练多语言语音模型的方法，并将代码转换建模为一系列潜在的二进制序列，以引导每个语言适配器在帧级别上的信息流，通过在阿拉伯语、普通话和印地语等多种语言与英语配对的数据集上的评估，显示出代码转换性能的持续改进，至少可以将语音识别错误率 (CER) 降低 10％。

    Oct, 2023

  • 基于元迁移学习的混合语言语音识别

    通过元迁移学习的新学习方法提取高资源单语数据信息，条件化优化混合语音识别数据，从而在低资源环境下实现混合语音识别，实验结果表明，我们的模型在语音识别和语言建模任务方面优于现有基线模型，并且收敛速度更快。

    Apr, 2020

  • 用合成的混合语文本生成优化双语神经转换器

    本研究探讨了如何针对混杂语音优化基于神经传递器的双语自动语音识别系统，发现半监督训练和合成的混合开关数据可以改善这一系统的性能。同时，我们分析了每个神经传递器编码器对混合开关性能的影响，并在 ASCEND 数据集上评估了我们的英语 / 普通话系统，其混合错误率为 25％，较文献节省 2.1％，同时保持好的单语测试集准确性。

    Oct, 2022