Sep, 2024

多语种语音识别中的低资源语言加权交叉熵

HTML
PDF
TL;DR本研究解决了将低资源语言整合到多语种自动语音识别系统中的挑战。通过在持续多语种学习背景下引入加权交叉熵的方法，研究表明该方法对低资源语言的语音识别效果显著提高，词错误率减少了6.69%，并且在六种语言中平均减少了3.29%的错误率，而高资源语言的表现未受到影响。
发现论文，激发创造
  • 用单个Transformer 实现多语言低资源语音端到端识别

    本文利用单个transformer模型及语言符号，针对低资源语言进行多语言语音识别，相较于SHL-MLSTM具有较高的识别精度。

    Jun, 2018

  • 大规模多语言自动语音识别：50种语言，1个模型，10亿参数

    本文探讨了利用单一声学模型进行多种语言训练，以提高低资源语言的自动语音识别性能，并简化支持多种语言的ASR系统的部署。作者在51种语言上进行广泛的基准测试和比较，表明与单语言训练相比，多语言训练的ASR模型可以提高识别性能，特别是对于低资源语言。与单语言基线相比，联合模型、具有语言输入的联合模型和多头模型的平均WER相对减少20.9％、23％和28.8％。据我们所知，这是第一次研究超过50种语言和超过16,000小时声音跨其的多语言ASR的大规模研究。

    Jul, 2020

  • 自动语音识别多语言模型综述

    该论文研究了基于跨语言转移的多语种自动语音识别模型的最新进展和最佳实践，并探讨了未来的研究方向和建议。

    Feb, 2022

  • 面向低资源多语言语音识别的自适应激活网络

    本篇论文提出了一种适应性激活网络，用于深度学习ASR模型的上层，并将不同的激活函数应用于不同的语言，通过交叉语言学习和多语言学习优化模型，达到了在IARPA Babel数据集上超越传统的基于瓶颈特征和从头训练两种方法的效果提升，结合交叉语言学习和多语言学习可以进一步提高多语言语音识别的性能。

    May, 2022

  • 跨语言声学-语音相似度对多语种语音识别的影响研究

    本文提出了一种新的数据驱动方法来研究跨语音识别方案中的跨语言声学语音相似性，通过训练深度神经网络来将来自不同声音模型的分布转化为可直接比较的形式，并通过熵分析发现少重叠语音的语言更易于跨语言传输，在融合单语言模型方面取得了相对于单语言识别的8％的改进。

    Jul, 2022

  • 面向低资源语言的多语种Transformer语言模型

    通过将多个低资源语言聚集在一起来实现地区组多语言Transformer LM的最佳性能，使得Monolingual LM候选模型表现更佳且减少维护成本和运营费用。

    Sep, 2022

  • 学习跨语言映射提升低资源语音识别的数据增强

    利用可学习的跨语言映射和数据增强来提高低资源语言的端到端语音识别准确度。

    Jun, 2023

  • Master-ASR：用模块化学习实现跨语言可扩展性和低资源适应性的自动语音识别

    提出了一种名为 METHODNS 的自动语音识别框架，通过模块化的方法实现低资源适应能力和多语言可扩展性，能够显著提高多语言和低资源语音识别的性能。

    Jun, 2023

  • 多任务多语言语音模型的高效压缩

    在这项研究中，我们发现了Whisper这个多任务和多语言语音模型在少数语言上的性能问题，并证明这是与讲话者特征及模型相关偏差有关。针对这个问题，我们提出了DistilWhisper方法，通过轻量级的模型微调和知识蒸馏策略，在保留了多任务和多语言预训练的鲁棒性的同时，有效地提升了目标语言的ASR性能。

    May, 2024

  • 探索数据量对极低资源语言自动语音识别的影响

    本研究针对低资源自动语音识别（ASR）技术，关注两种濒危的南岛语言Amis和Seediq，探讨数据增强技术的有效性。通过提出一种多语种语料库的数据选择方案，利用自监督学习在低资源环境下进行预训练，从而显著提高ASR性能，展示了通过跨语言迁移学习进行数据增强的可行性和潜力。

    Sep, 2024