Feb, 2023

利用辅助 CTC 目标提高大规模多语言 ASR 性能

PDF
TL;DR本篇研究探讨自动语音识别中多语言不平衡性的问题，并使用语言标识条件来改善性能，并采用自我监督模型和 Conformer 架构实现相对于先前工作的 28.4% 的 CER 的最新系统。
multilingualautomatic speech recognitionlanguage identityconnectionist temporal classificationconformer architecture
发现论文，激发创造
  • 基于音素、字素和多语言 CTC 的语音识别

    该论文研究了通过使用其他语言的数据和建立多语言系统来处理自动语音识别中数据稀缺性的问题，使用循环神经网络和连接时序分类等技术进行训练，提高了多语言系统的性能，缩小了单语和多语系统之间的差距。

    Nov, 2017

  • 基于 CTC 的声学模型的多语言训练和跨语言适应

    研究了多种适应和规则化技术，并使用深度神经网络，调查了自适应性训练的潜力， 并研究了退火珂朵莉的效果，得出结果表明使用 LHUC 进行适应可以改善全语言子母的 CTC 系统的性能，并且在有限数据上可以实现与 DNN/HMM 系统的竞争性性能。

    Nov, 2017

  • 基于预训练语言模型的知识迁移，提升基于 CTC 的语音识别

    基于 CTC 的自动语音识别模型一直比基于处理单元的编码 - 解码模型弱，本文提出了两种知识转移方法，借助预训练的 BERT 和 GPT2 来提高 CTC-based 模型的性能。在实验中，相对于不使用外部语言模型的基础模型，我们的方法将字符错误率降低了 16.1%。

    Feb, 2022

  • 具有 CTC 嵌入的语言增强变压器模型用于语音识别

    本文介绍了一种基于联合 CTC-Attention 模型的改进方法 —— 语言增强变压器，它通过在训练过程中将改进的 CTC 信息引入解码器，从而使其更加鲁棒，在 AISHELL-1 语音语料库上的实验表明，字符误差率（CER）减少了高达 7％，同时发现在联合 CTC-Attention ASR 模型中，解码器对语言信息比声学信息更敏感。

    Oct, 2022

  • 自动语音识别多语言模型综述

    该论文研究了基于跨语言转移的多语种自动语音识别模型的最新进展和最佳实践，并探讨了未来的研究方向和建议。

    Feb, 2022

  • 面向低资源多语言语音识别的自适应激活网络

    本篇论文提出了一种适应性激活网络，用于深度学习 ASR 模型的上层，并将不同的激活函数应用于不同的语言，通过交叉语言学习和多语言学习优化模型，达到了在 IARPA Babel 数据集上超越传统的基于瓶颈特征和从头训练两种方法的效果提升，结合交叉语言学习和多语言学习可以进一步提高多语言语音识别的性能。

    May, 2022

  • 用于德语端到端语音识别的大语料 CTC 分割

    本研究结合之前未标注的语音数据通过采用 CTC 预训练的两阶段方法生成训练数据，使用 CTC 和 attention Transformer 模型对德语语音识别进行训练，实现了 12.8％的识别错误率，超过了传统混合 DNN / HMM ASR 的 14.4％的基础水平。

    Jul, 2020

  • 利用母语信息提高口音识别能力

    本研究提出一种基于使用原生语言（西班牙语和印度语）预训练的端到端循环神经网络多任务学习模型，成功实现对英语口音的识别，相比于其他训练方法，此方法在减小语音中字符错误率方面表现更加优异。

    Apr, 2019

  • 利用语言识别计算中间 CTC 损失以增强代码交替语音识别

    通过在自动语音识别模型的编码器的中间层引入语言识别信息，本文旨在以更加隐式的方式生成暗示语言区别的声学特征，降低模型在处理语言切换时的混淆。

    Dec, 2023

  • 利用门控层间协作提升基于 CTC 的语音识别模型

    本文提出一种 Gated Interlayer Collaboration 机制，将文本信息引入语音识别 CTC-based models，提出了一种融合文本表示和声学特征的门单元，并在多个语料库上进行试验，结果表明该方法优于现有的多数基线模型。

    May, 2022