Apr, 2018

Unspeech: 无监督语音上下文嵌入

PDF
TL;DR本文介绍了基于无监督学习的 Unspeech 嵌入表示，是对口语语言上下文特征表示的学习，并使用孪生卷积神经网络构建该模型，应用于演讲数据的识别以及 TED-LIUM 的 TDNN-HMM 声学模型中，可用于讲话人比较、话语聚类和语音识别等领域，并公开了源代码和已经预训练的 Unspeech 模型。
unspeech embeddingsunsupervised learningspoken languagesiamese convolutional neural networkcontext feature
发现论文，激发创造
  • 无监督语音识别

    本文介绍了 wav2vec-U 这种方法，可以通过无监督学习的方式训练语音识别模型，许多语种如 Kyrgyz、Swahili 和 Tatar 等成为了可能。

    May, 2021

  • UniSpeech: 利用标注和非标注数据进行统一语音表示学习

    本文提出了一种名为 UniSpeech 的统一预训练方法，利用有标签和无标签数据学习语音表示，其中针对语音结构的有监督 CTC 学习和语音感知对比自监督学习以多任务学习的方式进行。实验结果表明，UniSpeech 在跨语言表征学习方面的有效性超过了自监督预训练和有监督转移学习。

    Jan, 2021

  • 语音识别中的学习：上下文音频词嵌入

    本文提出一种方法，使用注意力分配从监督序列到序列的语音到单词识别模型中直接构建上下文语音嵌入。在一系列 16 个标准句子评估任务中，我们的嵌入表现与在语音转录中训练的 word2vec 模型相当。此外，我们在口语理解任务上评估这些嵌入并观察到，我们的嵌入匹配基于文本的嵌入在首先进行语音识别，然后从转录中构建单词嵌入的流水线中的性能。

    Feb, 2019

  • 基于跨模态师生学习的预训练语义语音嵌入用于端到端口语理解

    本文提出了一种新的训练方法，将预先训练的语境嵌入用于处理声学特征，并扩展了预先训练的语音识别系统的编码器，以构建端到端的口语理解系统，实验结果表明，该系统在三个基准测试中达到与流水线结构相当的性能，在没有使用任何训练数据的情况下，在两个基准测试中经过微调每类 10 个示例后优于流水线结构。

    Jul, 2020

  • 以视觉为中介语：学习多语种未转写语音的语义嵌入

    本文讨论了在自然图像和描述这些图像内容的语音波形中学习神经网络嵌入的方法。我们展示了这些技术可成功应用于英语和印地语等多种语言，通过在两种语言上同时进行训练，可以提高模型的性能，并且这些模型可以执行语义跨语言语音检索。

    Apr, 2018

  • 无监督词语分割与词汇发现：基于声学词嵌入的方法

    提供了一种基于无监督贝叶斯模型的语音分割以及聚类算法，通过将有潜力的单词段嵌入固定维度的声学向量空间，并在此空间创建全词声学模型以及同时执行分割来实现输入语音基于单词类型的完整无人监督标记，模型在连接数字识别任务中取得约 20% 的错误率，优于基于 HMM 的系统。

    Mar, 2016

  • 学习语音的通用非语义表示

    本篇文章提出了对非语义任务进行语音表征对比的基准，并提出了一种基于无监督三元组损失目标的表征方法，该方法在基准测试中表现优异，甚至在许多迁移学习任务中超越了最新技术水平；

    Feb, 2020

  • 评估无监督语音表示中的上下文不变性

    本文介绍了语音或文本的不变性对于理解语言至关重要，提出了一种新的 ZeroSpeech ABX 基准测试方法来测试表示的上下文独立性，并建议将重点放在改善自监督和无监督表示的上下文独立性上。

    Oct, 2022

  • wav2vec: 语音识别的无监督预训练

    本研究通过对原始音频进行特征学习，探索无监督的语音识别预训练方法，在大量无标注音频数据上进行训练，结果表示所得到的特征对提高声学模型训练有积极意义。在 WSJ 测试中，仅使用少量已识别数据，我们的方法成功将 WER 从传统的 log-mel filterbank 上降低了最多 36％，最终的 WER 为 2.43％，使用的标注数据量较 Deep Speech 2 少两个数量级。

    Apr, 2019

  • 利用未对齐的语音和文本训练的非监督自动语音识别技术

    本文研究无监督语音识别方法，提出由语音向量表示、语义嵌入和无监督转换的框架，这一框架可用于缺乏音频文本对齐数据和受监督方法无法应用的低资源语言。

    Mar, 2018