Oct, 2022

句内码位转换语音识别中外语单词的发音生成

PDF
TL;DR本文提出了一种基于数据驱动的方法来解决代码切换语音识别中语音集限制、不同语言音素集和高昂的重建成本等挑战，其核心工作包括音标解码和不同选择策略。我们的实验结果表明，通过我们的方法，混杂的单词层中文英文代码切换识别的混合误差率从 29.15％降至 11.14％。
发现论文，激发创造
  • 0-shot 多语言语音合成的音韵特征

    本研究研究了如何利用国际音标中若干语音学特征，在单语言模型的基础上实现不同语言的代码切换的语音识别，从而生成在新语言中可懂的语音。

    Aug, 2020

  • 端到端语音识别中的语言无关代码切换

    本文研究提出一种简单而有效的数据增强方法，以在缺乏大量语料库的情况下训练多语言系统，进而提高 Code-Switching 语音的自动识别水平。通过将不同源语言的音频和相应标签连结在一起训练神经网络端到端 (E2E) 模型，实现在跨句子语言转换方面的提高。

    Oct, 2022

  • 利用语言识别计算中间 CTC 损失以增强代码交替语音识别

    通过在自动语音识别模型的编码器的中间层引入语言识别信息，本文旨在以更加隐式的方式生成暗示语言区别的声学特征，降低模型在处理语言切换时的混淆。

    Dec, 2023

  • 用合成的混合语文本生成优化双语神经转换器

    本研究探讨了如何针对混杂语音优化基于神经传递器的双语自动语音识别系统，发现半监督训练和合成的混合开关数据可以改善这一系统的性能。同时，我们分析了每个神经传递器编码器对混合开关性能的影响，并在 ASCEND 数据集上评估了我们的英语 / 普通话系统，其混合错误率为 25％，较文献节省 2.1％，同时保持好的单语测试集准确性。

    Oct, 2022

  • 使用神经合成数据的混合语言模型来处理句子间的平行语言切换

    为了解决训练混合语言模型的困难，本研究提出了一种基于序列 - 序列模型及 copy 机制的新型训练方法，通过有限的混合语言数据和单语数据的并行翻译生成需要的混合语言数据，且无需对齐或分析，实现了良好的表现，并显著提高了末端自动语音识别。

    Sep, 2019

  • 基于子词的语言识别技术用于单词内的语码转换

    本文将语种识别任务推广到子词级别，研究如何识别包含两种以上语言的语素（intra-word CS），提出了一种基于分段循环神经网络的模型，并在西班牙 - 韦萨里卡数据集和德国 - 土耳其数据集的实验中，相较于基准方法有略微提升或相当的表现。

    Apr, 2019

  • 基于多任务预训练和迁移学习的简单而有效的语言代码切换识别

    本文研究如何使用深度学习方法提高混合语言识别的准确性，提出了包括使用 Residual CNN+GRU 模型，以及使用自动语音识别（ASR）作为辅助任务的多任务预训练方法等两种有效方法，并且通过使用单语语料库以及数据上采样等方法来创造真正的混合语言数据集，最终实验结果显示，本文提出的模型在英汉混合语言语音识别准确度上超过了之前的基准模型约 55.3%。

    May, 2023

  • 汉英混合口语端到端语音识别的解决方案

    该论文以声音识别为例，探讨行话中的语言混杂现象，并提出一种多任务学习的解决方案，并针对代码切换情境下的数据稀疏问题提出了词汇扩展方法，并在 SEAME 数据上进行了实验验证。

    Nov, 2018

  • 多语言自学习语音表示改进资源有限的非洲语种混杂语音识别

    利用自监督语音表示的微调和利用转录训练的 n-gram 语言模型增强多语言表示，相对于从头开始训练的混合模型，将代码切换数据的绝对词错误率降低了高达 20%。研究结果表明，在训练数据受限的情况下，微调自监督表示是一种更优秀和可行的解决方案。

    Nov, 2023

  • 码 - 语混合话语与语言处理的概述

    本篇论文综述了多语言社区中通用的一种交际现象 —— 语码转换，并且概述了计算机语言处理的方法。同时该文阐述了处理语码转换的语音和自然语言处理在建立智能代理和与多语言社区用户的交互系统中的重要作用，发现语码转换数据和资源的稀缺性，并列出了可利用的各种编码语言对及相应的自然语言处理任务。最后，概述了语码转换在各种语音和自然语言处理应用中的研究，并对该领域的未来方向和问题进行了总结。

    Mar, 2019