Nov, 2018

使用编码器 - 解码器模型中的弱自上而下约束实现真正的无监督声学词嵌入

PDF
TL;DR本文提出了一种基于编码器 - 解码器一一对应自编码器 (EncDec-CAE) 的无监督学习方法，用于从可变长度的语音以及无标签的语音数据中提取出与固定维度表示形式相对应的词嵌入，从而在无资源语音搜索、发现和索引系统中发挥重要作用，并在词辨别任务中相对于最接近的竞争对手提高了 24% 的平均精度。
unsupervised modelsacoustic word embeddingszero-resource speech searchencoder-decoder correspondence autoencoderunsupervised term discovery
发现论文，激发创造
  • 自监督语音表示作为无监督声学单词嵌入输入特征的比较

    本文研究了零资源语音处理中基于帧级特征的声学词嵌入模型，发现使用自监督预测编码和对应自编码器模型等代替传统的 MFCC 作为输入，可以在英语和 Xitsonga 数据的单词辨别任务中取得更好的效果，并且能跨语种使用。

    Dec, 2020

  • 使用 WaveNet 自编码器进行无监督的语音表示学习

    本研究旨在通过自编码神经网络从语音波形中提取有意义的潜在表示，并比较三个变体：简单维度约束、高斯变分自编码器和离散量化矢量自编码器，成果表明此方法在 ZeroSpeech 2017 任务中获得了可比拟的表现。

    Jan, 2019

  • 使用离散隐变量神经网络进行语音合成的无监督声学单元发现

    本文介绍了使用离散潜变量神经网络对无标签语音进行离散子单词建模，使用自编码器架构进行中间离散化，在训练中，根据模型的特点对语音单元重新建模，以甄别可离散化的语音特征。在测试中，离线甄别采用未知说话者的语音，通过已知目标说话者的条件下的解码来获得重构的滤波器组。最后，使用神经声码器将输出进行合成，比较分别使用分类变分自编码器（CatVAEs）, 矢量量化 VAEs（VQ-VAEs）和直通估计在两种语言上的不同压缩水平，并发现该模型可以在离散表示方面产生竞争性的合成质量

    Apr, 2019

  • 无监督词语分割与词汇发现：基于声学词嵌入的方法

    提供了一种基于无监督贝叶斯模型的语音分割以及聚类算法，通过将有潜力的单词段嵌入固定维度的声学向量空间，并在此空间创建全词声学模型以及同时执行分割来实现输入语音基于单词类型的完整无人监督标记，模型在连接数字识别任务中取得约 20% 的错误率，优于基于 HMM 的系统。

    Mar, 2016

  • 基於序列到序列自編碼器的聲音片段無監督表示學習

    本文提出了一种并行版本的 Audio Word2Vec，旨在为变长音频片段提供固定维度的向量表示，用于无人工注释的语音数据的无监督学习，并且采用 Denoising Sequence-to-sequence Autoencoder 进行更稳健的学习。

    Mar, 2016

  • 深度编码器 - 解码器模型用于无监督学习可控语音合成

    本文针对非文字语音变化很少被注释的情况，研究了无监督学习控制统计语音合成的方法，包括将无监督训练试探法解释为某些自编码器模型中的变分推理等方式。研究发现，这些新的概率诠释具有重要含义，并将几种方法应用于情感语音合成的音频建模，发现无监督学习的表达控制方法（无需情感标签）在很多方面可以与之前的最佳监督方案匹配或超越之。

    Jul, 2018

  • 有监督的声学嵌入及其在不同语言之间的可转移性

    本文研究了使用自监督预训练技术来提高语音识别的准确性，发现在监督学习框架中，利用不同的预训练自监督特征作为 Acoustic Word Embeddings 的输入是最有效的方法，并且这种方法可实现跨语言迁移。

    Jan, 2023

  • 通过对自监督语音表示进行对应训练改进声学词嵌入

    该研究使用自监督学习（SSL）的语音模型中的 HuBERT 方法来改进通过对应自动编码器（CAE）获得的声学词嵌入（AWE），并探索了在跨语言情景下使用 SSL 语音模型来获得 AWE 的能力。

    Mar, 2024

  • 面向完全无监督大词汇语音识别的分段框架

    本文介绍了一种基于贝叶斯建模框架和语音嵌入向量的无监督语音识别方法，针对多个讲话者的语音数据进行了初步探索，最终通过顶层一致性分割和底层音节边界检测方法得出更好的单人和多人语音聚类结果。

    Jun, 2016

  • 基于语音和文本数据的音位结构学习，较少资源近乎无监督的语音识别

    利用音频字向量和自编码器实现跨模态的语音识别，演示了即使缺乏训练数据，也可以从少量音频和文本之间的嵌入对齐中进行 ASR 系统的训练。

    Oct, 2018