Feb, 2023

利用支持性文本数据启动有限转录的自动语音识别系统开发

HTML
PDF
TL;DR本文研究发现，使用不同数量的文本数据进行训练和 fine-tune transformer model 可以降低自动语音识别（ASR）的 word error rate，其中 lexicon 对于改善 ASR 性能没有多大作用，而使用必要量的文本数据可以通过利用自然语言处理技术使自动语音识别接近人类的水平。
发现论文，激发创造
  • 几乎无监督的文本转语音和自动语音识别

    本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

    May, 2019

  • 低资源语音识别预训练的分析

    本文探讨了如何提高低资源语言的自动语音翻译质量，研究表明在高资源语言上训练端到端自动语音识别模型可以有效提高自动语音译文质量，作者发现最终自动语音译文质量的最佳预测因素是预训练的ASR模型的词错误率，并且研究发现预训练和数据增强对AST翻译质量的提高是互补的。

    Oct, 2019

  • N-Best ASR Transformer: 使用多个ASR假设提高SLU性能

    使用自动语音识别提供的多个文本替代方案，采用简化的表述方式，通过 transformer 模型 BERT 和 XLM-RoBERTa 对 N-best 替代方案的连接作为输人，提高了 Spoken Language Understanding 系统的性能。

    Jun, 2021

  • 使用统一的语音与文本编码器-解码器来改善ASR

    本研究利用外部文本数据提高自动语音识别的性能，探讨了一种方法，在共享解码器和编码器部分的集合中，联合训练自动语音识别和掩码语言模型。经实验验证，该方法在测试中取得了非常好的效果，耗时不增加。

    Feb, 2022

  • 利用数据增强提高低资源语音识别的准确性

    研究发现，利用自训练及文本转语音增广训练数据可以有效提高低资源语种的 ASR 性能，为解决数据稀缺问题提供了一种高效解决方案。

    May, 2023

  • 探索大型语言模型与自动语音识别系统的整合：实证研究

    本文旨在探讨将大型语言模型（LLMs）集成到自动语音识别（ASR）系统中以提高转录准确性的潜力，并通过实验表明在当前阶段，使用LLMs的上下文学习能力来修正语音识别转录中的潜在错误仍然是一项具有挑战性的任务。

    Jul, 2023

  • 长篇语音识别的更新语料库和基准

    本文重新发布三个标准的ASR语料库，用于长篇ASR研究，并研究了训练与测试数据不匹配问题，通过基准测试展示了长篇训练在此领域转变下的模型鲁棒性。

    Sep, 2023

  • GigaSpeech 2：用于低资源语种的演进、大规模、多领域的ASR语料库的自动爬取、转写和优化

    这篇论文介绍了GigaSpeech 2，一个为低资源语言设计的大规模、多领域、多语种的语音识别语料库，它不依赖于配对的语音和文本数据。该论文还介绍了一个自动化的数据爬取、转录和标签优化流程，以及通过修改的Noisy Student Training来进一步提高模型性能。实验结果证明了该语料库高质量和广泛适用性，并且相比于Whisper large-v3模型，基于GigaSpeech 2训练的ASR模型在泰语、印尼语和越南语的测试集上可以将词错误率降低25%至40%。同时，与商业服务相比，基于GigaSpeech 2训练的ASR模型也能取得更好的性能。我们相信我们引入的语料库和流程将为低资源语音识别开辟新的研究途径并极大地促进该领域的研究。

    Jun, 2024

  • 预训练语言模型中的变压器作为自动语音识别编码器的有效性研究

    本文研究了变压器在预训练语言模型（PLMs）中作为自动语音识别（ASR）编码器的有效性，填补了这一领域的研究空白。研究表明，变压器在从文本数据中提取特征的能力可以有效转化为处理语音数据，从而显著提升ASR的性能。我们的实验结果显示，在多种ASR任务中，使用预训练语言模型的变压器能显著降低字符错误率（CER）和单词错误率（WER），尤其在需要深刻语义理解的场景中效果更为显著。

    Sep, 2024

  • 通过多功能TTS增强低资源ASR：弥合数据鸿沟

    本研究解决了自动语音识别（ASR）在低资源环境中的表现不足问题，尤其是在方言、口音和少数语言的应用中。论文提出了一种利用强大的文本到语音（TTS）模型进行ASR数据增强的方法，并通过大量实验验证了该方法的有效性与广泛的应用前景。研究表明，文本多样性、说话人多样性及合成数据量是影响ASR性能的关键因素，特别是首次探讨了文本多样性对性能提升的影响。

    Oct, 2024