Mar, 2018

利用未对齐的语音和文本训练的非监督自动语音识别技术

PDF
TL;DR本文研究无监督语音识别方法，提出由语音向量表示、语义嵌入和无监督转换的框架，这一框架可用于缺乏音频文本对齐数据和受监督方法无法应用的低资源语言。
automatic speech recognitionunsupervised learninglow-resourced languagesaudio-text alignmentvector representation
发现论文，激发创造
  • 几乎无监督的文本转语音和自动语音识别

    本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

    May, 2019

  • 朝向无需发音模型的无监督语音识别

    本研究采用不依赖音素词典的新方法，通过仅包含高频英语词汇的语料库，在没有配对语音和文字数据的情况下，实现了近 20% 的词错误率，并证明了基于联合语音到语音和文本到文本的标记填充技术，使得无监督语音识别系统的性能超过了直接分布匹配方法。

    Jun, 2024

  • 无监督自动语音识别：综述

    这篇论文研究了使用无监督学习的方法，包括语音分割，语音信号到文本的映射和半监督模型来实现自动语音识别，以识别从语音数据中可以学到的极限并理解语音识别的最小要求，目的是为了在开发低资源语言的语音识别系统时优化资源和努力。

    Jun, 2021

  • 无监督语音识别理论

    本文提出了一个通用的理论框架，用于通过随机矩阵理论和神经切向核理论研究 ASR-U 系统的属性和解决超参数敏感性和训练不稳定等问题，并通过三类转换图上的合成语言的 ASR-U 实验提供强有力的理论依据。

    Jun, 2023

  • 基于语音和文本数据的音位结构学习，较少资源近乎无监督的语音识别

    利用音频字向量和自编码器实现跨模态的语音识别，演示了即使缺乏训练数据，也可以从少量音频和文本之间的嵌入对齐中进行 ASR 系统的训练。

    Oct, 2018

  • 跨语言伪标记的无监督自动语音识别

    研究表明，在没有成对的语音和文本的情况下，可以使用其他语言的字符级声学模型引导新语言的无监督自动语音识别系统，方法基于两个主要组成部分：使用其他语言 AM 生成目标语言的伪标签并用目标语言模型加以约束。

    May, 2023

  • 无监督文本转语音合成与无监督自动语音识别

    该论文提出了一种基于对齐模块输出伪文本和另一个合成模块使用伪文本进行训练和实际文本进行推断的无监督文本转语音综合系统，可以在每种语言的 10-20 小时语音中实现与监督系统相当的性能，并开展了对文本单元和声码器影响的研究。

    Mar, 2022

  • 使用非成对语音和文本的半监督序列到序列自动语音识别

    本文提出了一种新的半监督训练方法，该方法结合了端到端的不可区分的 ASR->TTS 损失和 TTS->ASR 损失，利用未配对的语音和文本数据，相较于其他相关技术在 WSJ 和 Librispeech 语料库上的 WER 性能更好。

    Apr, 2019

  • 语音和文本嵌入空间的无监督交叉模态对齐

    该研究提出了一种无监督的跨模态对齐框架，通过对抗训练和优化过程来实现语音和文本的嵌入空间对齐，从而帮助开发对低资源语言进行语音识别和语音到文本翻译的自动化系统，并且在分类和翻译任务上的表现与监督的方法相媲美。

    May, 2018

  • 朝向端到端无监督语音识别

    介绍一种改进的 wav2vec-U 2.0 方法，通过更好的结构来消除语音处理的需要，并引入自监督目标来实现更好的准确度，从而在不同语言下提高了非监督性识别结果。

    Apr, 2022