Oct, 2023

利用 N-Skipgram 和位置一元匹配进行无监督语音识别

PDF
TL;DR这篇论文介绍了一种新颖的 ASR 系统 ESPUM，通过利用低阶 N-skipgrams（最高 N=3）和从小批量样本中收集到的位置单字统计数据，克服了无监督语音识别系统训练中的 GAN 相关不稳定性、语音和文本的不匹配以及显著的内存需求。在 TIMIT 基准测试中，我们的模型在 ASR 和音素分割任务中展现了竞争性能。您可以在此 https URL 上访问我们公开可用的代码。
unsupervised speech recognition systemsgan-associated instabilitymisalignmentmemory demandsasr system
发现论文，激发创造
  • 利用未对齐的语音和文本训练的非监督自动语音识别技术

    本文研究无监督语音识别方法，提出由语音向量表示、语义嵌入和无监督转换的框架，这一框架可用于缺乏音频文本对齐数据和受监督方法无法应用的低资源语言。

    Mar, 2018

  • 使用非成对语音和文本的半监督序列到序列自动语音识别

    本文提出了一种新的半监督训练方法，该方法结合了端到端的不可区分的 ASR->TTS 损失和 TTS->ASR 损失，利用未配对的语音和文本数据，相较于其他相关技术在 WSJ 和 Librispeech 语料库上的 WER 性能更好。

    Apr, 2019

  • 通过与迭代精化的隐马尔可夫模型协调的生成对抗网络实现完全无监督语音识别

    本研究使用生成对抗网络和隐马尔可夫模型开发了一种适用于低资源语言的无监督语音识别方法，并在 TIMIT 数据集上实现了 33.1% 的电话错误率，比现有技术提高了 8.5%。

    Apr, 2019

  • 朝向端到端无监督语音识别

    介绍一种改进的 wav2vec-U 2.0 方法，通过更好的结构来消除语音处理的需要，并引入自监督目标来实现更好的准确度，从而在不同语言下提高了非监督性识别结果。

    Apr, 2022

  • 通过扩散 GAN 提升无监督语音识别

    使用扩散 - GAN 提高无监督自动语音识别的敌对训练方法。将各种强度的实例噪声注入生成器的输出和来自预训练音素语言模型的未标记参考文本，使用时间步骤相关的判别器将它们分开，并将梯度反向传播更新生成器，实验表明该增强策略能有效地提高语音识别词错误率。

    Mar, 2023

  • 朝向无需发音模型的无监督语音识别

    本研究采用不依赖音素词典的新方法，通过仅包含高频英语词汇的语料库，在没有配对语音和文字数据的情况下，实现了近 20% 的词错误率，并证明了基于联合语音到语音和文本到文本的标记填充技术，使得无监督语音识别系统的性能超过了直接分布匹配方法。

    Jun, 2024

  • Google USM：扩展超过 100 种语言的自动语音识别

    本论文介绍了通用语音模型（USM），它能够在 100 多种语言中自动识别语音，并使用多语言预训练和随机投影量化等技术来实现跨语言自动语音识别和语音到文本转换这些任务的最先进水平。同时，本文证明使用少量的标记数据集进行训练的 USM 模型在很多语言的领域内和领域外的语音识别任务中表现出了与 Whisper 模型相当或更好的性能。

    Mar, 2023

  • EURO: ESPnet 无监督自动语音识别开源工具包

    本文描述了 ESPnet Unsupervised ASR Open-source Toolkit (EURO)，这是一个用于无监督自动语音识别 (UASR) 的端到端开源工具包，它采用了 Wav2vec-U 的最先进的学习方法，综合 27 个自我监督模型和各种基于图形的解码策略。EURO 通过对 ESPnet 的现有数据集进行完整的设置，提高了流水线的效率，并在 TIMIT 和 LibriSpeech 数据集上取得了最先进的 UASR 性能。

    Nov, 2022

  • 几乎无监督的文本转语音和自动语音识别

    本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

    May, 2019

  • 关于预训练语言模型 N-gram 逼近的研究

    本研究调查了预先训练的语言模型在自动语音识别中的潜在用途，对比了大规模文本抽样和概率转换的应用。在八个特定领域的语料库中，发现采样的近似方法支持使用，插值与大规模文本语料库一起使用对比基线三元组能使测试困惑度提高 15％，我们引入了一种有限制的词汇解码方法，这将进一步提高 5％的改进。

    Jun, 2023