Mar, 2022

文本转语音伪标签对于低资源语音识别中的强制对齐和跨语言预训练模型的有效性

PDF
TL;DR本文提出一种对 Maithili、Bhojpuri 和 Dogri 语言创建标签数据的方法，并使用伪标签训练基于 Transformer 的 wav2vec 2.0 ASR 模型。
发现论文，激发创造
  • 跨语言迁移学习的低资源语言端到端文本转语音

    本文针对低资源语言语音合成任务，提出了从高资源语言中迁移知识的方法，并通过学习源与目标语言之间的语言符号映射，有效地构建了 TTS 系统，初步实验表明，只需要约 15 分钟的成对数据即可获得相对良好的 TTS 系统。

    Apr, 2019

  • 基于预训练语音和语言模型的端到端语音识别整合

    利用预训练语音表示模型与大型语言模型（LLM）的集成，通过以语音表示作为语音提示，自动逐步生成文本标记，以利用 LLM 提供的广博知识，从而实现端到端的自动语音识别（ASR）模型，该模型还可结合推理优化和参数高效领域适应等关键技术，实现与现代端到端 ASR 模型相媲美的性能。

    Dec, 2023

  • 跨语言知识转移和迭代伪标注 没有包括专有术语或不必要的解释 适用于使用转录器的低资源语音识别

    该研究旨在通过跨语言知识转移和迭代伪标注的方法来提高语音识别系统对低资源语言的准确性，结果表明，使用这两种技术，可将错误率降低 35%。

    May, 2023

  • 低资源印度语言中语音识别模型的调整

    通过利用语音和文本资源采用适应和微调技术，提高了印度语言 Bengali 和 Bhojpuri 的自动语音识别（ASR）性能，并通过多模态数据了解每种模态在构建可靠 ASR 方面的重要程度以及解决全球各种语言中的低资源问题的潜在解决方案。

    Jul, 2023

  • 基于流式端到端模型的大规模多语言语音识别

    本文介绍了一种使用条件向量和针对语言的适配器层结合的多语言端到端模型，取得了比单语言模型和传统模型都更低的语音识别误差率。

    Sep, 2019

  • 领域无关孟加拉自动语音识别的伪标签

    通过伪标签方法开发一种大规模领域不可知的孟加拉语语音数据集和基于 Conformer 的自动语音识别系统，并在公开可用的数据集和人工注释的领域不可知测试集上进行效果评估。

    Nov, 2023

  • 一种低资源语音识别的新型自训练方法

    我们提出了一种自学习方法，用于低资源环境下的自动语音识别（ASR）。通过在小语种如旁遮普语中生成高度精确的伪标签，我们的方法在四个真实语音数据集上相对提高了 14.94% 的词错误率，并在 Common Voice 旁遮普语数据集上取得了最佳结果。

    Aug, 2023

  • 低资源语言对的端到端代码开关 ASR

    本文研究了一种面向代码交错语音的端到端语音识别技术，并利用神经网络语言模型和循环神经网络提高低资源情况下的识别性能。

    Sep, 2019

  • LRSpeech: 极低资源语音合成与识别

    本文介绍了一种名为 LRSpeech 的 TTS 和 ASR 系统，能够在极低资源的情况下支持资料匮乏的语言，并通过三个关键技术来优化模型，包括基于富资源语言的预训练和微调、TTS 和 ASR 之间的双重转换以及知识蒸馏等。实验证明 LRSpeech 在语音合成方面达到了工业部署的要求，在语音识别方面达到了很好的识别精度，并且需要非常少的训练数据。

    Aug, 2020

  • 几乎无监督的文本转语音和自动语音识别

    本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

    May, 2019