May, 2024

在多任务框架中的低资源爱尔兰语语音识别和方言识别

PDF
TL;DR使用中级 CTC (InterCTC) 训练的混合 CTC/Attention 编码器 - 解码器模型，探索了爱尔兰 (盖尔语) 低资源语音识别 (ASR) 和方言识别 (DID)。通过与目前在 ASR (TDNN-HMM) 和 DID (ECAPA-TDNN) 训练的最佳模型进行对比，首先确定了最佳的 InterCTC 设置，并使用 E-branchformer 编码器训练了一个模型，并比较了两种架构的性能。使用多任务微调方法进行语言模型 (LM) 浅聚合，实验结果显示与基线 ECAPA-TDNN 相比，DID 准确率提高了 10.8%，并且字误率性能接近 TDNN-HMM 模型。这种多任务方法展示了在爱尔兰低资源 ASR 和 DID 中的潜在优势。
hybrid ctc/attention encoder-decoder modelsirish (gaelic) low-resource speech recognitiondialect identificationconformer encodermulti-task approach
发现论文，激发创造
  • 爱尔兰口音识别研究

    研究使用声学分类模型和文本分类器来识别爱尔兰方言，以便将其纳入语音识别管道以增强精度。ECAPA-TDNN 是最佳表现的模型之一，可将其输出与文本模型的输出相结合以进一步提高准确性。作者发现该模型在鉴别阿尔斯特方言方面表现最佳，但在区分康纳赫特方言和蒙斯特方言方面具有挑战性。

    Jul, 2023

  • 具有 CTC 嵌入的语言增强变压器模型用于语音识别

    本文介绍了一种基于联合 CTC-Attention 模型的改进方法 —— 语言增强变压器，它通过在训练过程中将改进的 CTC 信息引入解码器，从而使其更加鲁棒，在 AISHELL-1 语音语料库上的实验表明，字符误差率（CER）减少了高达 7％，同时发现在联合 CTC-Attention ASR 模型中，解码器对语言信息比声学信息更敏感。

    Oct, 2022

  • 用于德语端到端语音识别的大语料 CTC 分割

    本研究结合之前未标注的语音数据通过采用 CTC 预训练的两阶段方法生成训练数据，使用 CTC 和 attention Transformer 模型对德语语音识别进行训练，实现了 12.8％的识别错误率，超过了传统混合 DNN / HMM ASR 的 14.4％的基础水平。

    Jul, 2020

  • 多任务学习下的联合 CTC-Attention 基于端到端语音识别

    本研究介绍了一种新的方法，使用多任务学习框架中的联合 CTC-attention 模型来改善端到端语音识别的鲁棒性并实现快速收敛，从而减轻对齐问题。实验证明，与 CTC 和 attention-based encoder-decoder 基线相比，在 WSJ 和 CHiME-4 任务中表现出 5.4-14.6％的相对 CER 改进。

    Sep, 2016

  • 利用辅助 CTC 目标提高大规模多语言 ASR 性能

    本篇研究探讨自动语音识别中多语言不平衡性的问题，并使用语言标识条件来改善性能，并采用自我监督模型和 Conformer 架构实现相对于先前工作的 28.4% 的 CER 的最新系统。

    Feb, 2023

  • 基于 CTC 的语音识别的分层多任务学习

    使用分层多任务学习进行基于 CTC 的语音识别，添加辅助任务可提高识别结果表现，不同的实验变量，低资源下标准多任务学习表现优异，最佳结果为采用分层多任务学习与预训练相结合，可将错误率降低 3.4% 绝对值。

    Jul, 2018

  • 卷积神经网络和语言嵌入用于端到端方言识别

    该论文介绍了使用基于 Siamese 神经网络和集成多种声学和语言特征的端到端方言识别系统，分析了在阿拉伯语言境下的效果，并探讨了数据扩充和特征融合等策略，最终获得了 78% 的分类准确率。

    Mar, 2018

  • 基于 CTC 的声学模型的多语言训练和跨语言适应

    研究了多种适应和规则化技术，并使用深度神经网络，调查了自适应性训练的潜力， 并研究了退火珂朵莉的效果，得出结果表明使用 LHUC 进行适应可以改善全语言子母的 CTC 系统的性能，并且在有限数据上可以实现与 DNN/HMM 系统的竞争性性能。

    Nov, 2017

  • 基于预训练 ASR 模型的低资源语音转文本翻译策略

    本文提出了改进低资源语音转文本翻译性能的技术和发现，实验结果显示多语言自动语音识别系统在低资源场景下作为良好的初始化，CTC 作为额外的目标有助于重新排序内部表示并提高最终翻译。通过实验，确定了对改进低资源设置最有贡献的各种因素（初始化、目标和超参数）。在只有 300 小时的预训练数据下，模型在 Tamasheq - French 数据中取得了 7.3 的 BLEU 分数，比 IWSLT 2022 的先前发表作品高 1.6 个百分点。

    May, 2023

  • CTC 基础语音识别中的中间损失正则化

    本文提出了一种基于 CTC 目标的自动语音识别（ASR）的简单而高效的辅助损失函数，结合随机深度训练，应用于最近提出的 Conformer 网络，能够在没有语言模型的情况下实现 9.9％的单词错误率和 5.2％的字符错误率。

    Feb, 2021