Oct, 2019

Mockingjay: 无监督双向 Transformer 编码器的语音表征学习

PDF
TL;DRMockingjay 是一种基于双向 Transformer 编码器的语音表示学习方法，它可以通过联合过去和未来的上下文来预测当前语音帧，提高音素分类、说话人识别和情感分类等下游任务的性能，且仅需很少的标注数据即可实现优越表现。
mockingjayspeech representation learningtransformer encodersdownstream tasksfine-tuned
发现论文，激发创造
  • 通过掩码重构无监督预训练双向语音编码器

    提出了一种使用掩蔽重构损失进行预训练语音表示的方法，实现了双向预训练编码器网络在典型的双向语音识别模型中的直接使用。该方法在 LibriSpeech 和 Wall Street Journal 语料库上的实验表明，预训练、掩蔽段、领域适应都能提高语音识别性能。

    Jan, 2020

  • 语音表示学习：使用单视角、多视角和多任务方法进行双向编码器学习

    该论文研究了使用表示学习改进时间序列或空间序列数据的下游预测任务，通过使用学习到的表示。它主要涵盖了表示学习的多个设置，包括有监督学习、无监督学习、半监督学习和多视角学习，并探索了多种方法，特别关注于语音数据。

    Jul, 2023

  • 预训练语音编码器的自监督重连：在语音处理中以更少标签更快微调

    本文针对预训练语音编码器中的表示空间进行了研究，并通过对比自监督学习构建正对，以实现对表示空间的改进，进而在低资源环境下提高了语音处理任务的收敛速度和表现。

    Oct, 2022

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 低资源口语理解的双向表示

    本篇研究提出了一种表示模型来编码富含双向编码的语音，同时使用遮蔽语言建模目标来学习这个模型。采用类关注作为口语理解模块，提高了模型在 Fluent Speech Command 数据集上的性能，并且可以用于可视化解释模型预测。

    Nov, 2022

  • 使用无监督预训练改进基于 Transformer 的语音识别

    提出一种称为 Masked Predictive Coding 的无监督预训练方法，可用于 Transformer-based 模型的无监督预训练，其应用于 HKUST 的实验表明，使用相同的训练数据，我们可以实现 CER 为 23.3%，超过最佳的端到端模型 0.2% 的绝对 CER。使用更多的预训练数据，我们可以进一步将 CER 降至 21.0％，相对 CER 基线降低 11.8%。

    Oct, 2019

  • 利用自监督语音模型进行音素分割

    应用迁移学习到音素分割任务中，在自监督预训练中学习的表示对任务的效用得到证明。通过在 Transformer 风格编码器中增加有策略的卷积，操作预训练中学到的特征。在 TIMIT 和 Buckeye 语料库上训练和测试了该模型，分别在监督和非监督设置下达到了以前的最佳性能。在代码审查和尝试复现过去的分割结果中观察到，有必要明确广泛使用的评估指标的定义和实现。通过划分两种不同的评估方案并描述它们的细微差别来解决了这种不确定性。

    Nov, 2022

  • Unspeech: 无监督语音上下文嵌入

    本文介绍了基于无监督学习的 Unspeech 嵌入表示，是对口语语言上下文特征表示的学习，并使用孪生卷积神经网络构建该模型，应用于演讲数据的识别以及 TED-LIUM 的 TDNN-HMM 声学模型中，可用于讲话人比较、话语聚类和语音识别等领域，并公开了源代码和已经预训练的 Unspeech 模型。

    Apr, 2018

  • Wav2Seq：使用伪语言预训练语音到文本编解码模型

    Wav2Seq 是第一个用于预训练语音数据的自监督方法，采用了伪语言作为紧凑的离散表示，并制定了自监督伪语音识别任务 - 将音频输入转录为伪子词序列。

    May, 2022

  • SpeechT5：面向口语语言处理的统一模态编解码预训练

    本文介绍了一种名为 SpeechT5 的统一多模态语音文本表示学习框架，该框架采用编码器 - 解码器预训练的方法进行自监督学习，具有包括自动语音识别、语音合成、语音翻译、语音增强和说话人识别在内的广泛的口语处理任务上的卓越性能。

    Oct, 2021