Oct, 2022

用合成的混合语文本生成优化双语神经转换器

PDF
TL;DR本研究探讨了如何针对混杂语音优化基于神经传递器的双语自动语音识别系统，发现半监督训练和合成的混合开关数据可以改善这一系统的性能。同时，我们分析了每个神经传递器编码器对混合开关性能的影响，并在 ASCEND 数据集上评估了我们的英语 / 普通话系统，其混合错误率为 25％，较文献节省 2.1％，同时保持好的单语测试集准确性。
code-switchingneural transducerbilingual asr systemsemi-supervised trainingsynthetic code-switched data
发现论文，激发创造
  • 端到端的混合语言模型用于自动语音识别

    本文利用深度双向语言模型如 BERT 和其他机器翻译模型提出了一种提取单语文本的方法，以及探索从 ASR 模型中提取混合文本的不同方法，并通过比较混杂度和其他不同指标（如 WER）的结果与标准的双语文本输出来说明模型的稳健性。

    Jun, 2020

  • 多语音识别中的代码切换适配器适应

    本文提出了在代码转换的语音中有效地微调大型预训练多语言语音模型的方法，并将代码转换建模为一系列潜在的二进制序列，以引导每个语言适配器在帧级别上的信息流，通过在阿拉伯语、普通话和印地语等多种语言与英语配对的数据集上的评估，显示出代码转换性能的持续改进，至少可以将语音识别错误率 (CER) 降低 10％。

    Oct, 2023

  • 利用单语数据源训练双语和混码语音识别模型

    本文介绍了一种新的聚合分词器方法，用于训练双语和混合语音自动语音识别模型，从而消除了获得语料库的限制，并演示了这种方法的有效性。

    Jun, 2023

  • 适用于印度语的代码转换和混合语音识别

    本研究通过比较使用多语种和单语种模型进行语音识别的表现，提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术，取得了印度诸多语言语音识别的较好效果。

    Mar, 2022

  • 减少端到端语种混淆的自动语音识别

    本文基于等价约束理论提出了一种语言相关的注意机制，将单语数据转化为多语数据应用于端到端的自动语音识别中，获得了相对误差减少 17.12% 的优异性能。

    Jan, 2022

  • 端到端混合语音识别的数据增强

    本文提出了三种针对语种转换数据的增强方法，即音频接合、TTS 和单词转换或插入生成语料，并展示了这些方法对基于端到端自动语音识别系统（ASR）的语种转换系统的性能提升，这些方法可结合近期热门技术 SpecAugment 使用，相对于没有数据增强的系统，WER 显著降低了 24.0％，相对于只有 SpecAugment 的系统还有 13.0％的收益。

    Nov, 2020

  • 使用神经合成数据的混合语言模型来处理句子间的平行语言切换

    为了解决训练混合语言模型的困难，本研究提出了一种基于序列 - 序列模型及 copy 机制的新型训练方法，通过有限的混合语言数据和单语数据的并行翻译生成需要的混合语言数据，且无需对齐或分析，实现了良好的表现，并显著提高了末端自动语音识别。

    Sep, 2019

  • 从机器翻译到代码转换：生成高质量的混合语言文本

    本文研究如何用神经机器翻译模型生成印地语 - 英语混合语种句子。通过预训练和使用合成数据来提高模型性能，生成的文本可用于数据增强，提高了语言模型任务和自然语言推理任务的性能，人工评估和客观指标的结果展现出了接近或优于印地语为母语的人群工作者生成的混合语种文本。

    Jul, 2021

  • 语言建模用于代码交替：评估、整合单语数据和判别式训练

    本文研究语言建模在代表代码切换语言的语境下在自动语音识别（ASR）中所存在的难题，针对三个难点分别提出解决方案：如何从缺乏大规模训练数据、ASR 系统中与语言建模相关的性能测试的实现方法以及基于生成式模型所存在的缺陷，我们构建了一个独立于 ASR 系统和词汇选择的评估数据集和评估方式，并采用一种判别式训练方法，证明其比生成式更加有效。最后，我们探索了多种训练协议，并验证了使用大量单语数据随后加上小量的代码切换数据来进行精调训练的可行性。

    Oct, 2018

  • 利用编码解耦的有效混合专家方法进行代码切换语音识别

    通过引入一种新的解缠损失函数，本研究专注于改进端到端自动语音识别（ASR）的声学编码器，以解决代码切换现象带来的挑战，并通过实验验证了该方法的优越性。

    Feb, 2024