Dec, 2020

探索 wav2vec 2.0 在说话人验证和语言识别上的应用

PDF
TL;DR本文提出了一种基于 self-supervised 的 Wav2vec 2.0 框架，可用于说话人验证和语言识别，通过多任务学习使用一个模型进行统一建模，并在相关数据集上取得了良好的成果。
wav2vec 2.0self-supervised frameworkspeaker verificationlanguage identificationmulti-task learning
发现论文，激发创造
  • wav2vec 2.0：自监督学习语音表示的框架

    本研究首次证明了从语音音频中学习强大的表征，然后在经过转录的语音上进行微调可以胜过最好的半监督方法，而且概念上更简单， 示范了在有限标注数据情况下实现语音识别的可行性。

    Jun, 2020

  • wav2vec: 语音识别的无监督预训练

    本研究通过对原始音频进行特征学习，探索无监督的语音识别预训练方法，在大量无标注音频数据上进行训练，结果表示所得到的特征对提高声学模型训练有积极意义。在 WSJ 测试中，仅使用少量已识别数据，我们的方法成功将 WER 从传统的 log-mel filterbank 上降低了最多 36％，最终的 WER 为 2.43％，使用的标注数据量较 Deep Speech 2 少两个数量级。

    Apr, 2019

  • 朝向端到端无监督语音识别

    介绍一种改进的 wav2vec-U 2.0 方法，通过更好的结构来消除语音处理的需要，并引入自监督目标来实现更好的准确度，从而在不同语言下提高了非监督性识别结果。

    Apr, 2022

  • 使用 Wav2vec2 和 Whisper 进行演讲者和语言变更检测

    通过向标签添加说话者（变化）或语言目标，我们研究了最近为自动语音识别预训练的 transformer 网络对检测语音中的说话者和语言变化的能力。对于 Wav2vec2 预训练网络，我们还研究了是否可以调节说话者变化符号的表示以捕获说话者身份特征。通过多个构建的数据集，我们展示了这些能力的实际应用，并测出了约 10％的说话者识别等误差率和几个百分点的语言检测误差率。

    Feb, 2023

  • 无监督语音识别

    本文介绍了 wav2vec-U 这种方法，可以通过无监督学习的方式训练语音识别模型，许多语种如 Kyrgyz、Swahili 和 Tatar 等成为了可能。

    May, 2021

  • 利用 wav2vec 2.0 进行 L2 口语英语的熟练度评估

    本研究通过研究两个小数据集，其中一个是公开的，探讨使用 wav2vec 2.0 对英语口语能力的整体和各方面进行评估的可行性，相对于基于 ASR 和手动转录训练的 BERT 基准系统，发现此方法有很大的提升。

    Oct, 2022

  • 使用 Wav2Vec 2.0 识别器进行深度 LSTM 口语检测

    本文利用基于字符的 Wav2Vec2.0 模型进行了大规模口语文档中的术语检测任务，实验结果表明，使用基于深度 LSTM 网络的共享发音嵌入空间的 bootstrapping 方法将 DNN-HMM 混合 ASR 的传统发音词汇的知识转化到基于图形的 Wav2Vec 中，能够显著优于 DNN-HMM 混合 ASR 和音素识别器的组合系统。

    Oct, 2022

  • Wav2Vec-Aug: 有限数据下的改进自监督训练

    本文探讨了如何利用数据增强技术来解决语言和领域中数据不足的问题，从而在限制条件下将自监督学习应用于语音表示方面，并在 Wav2Vec 2.0 预训练模型的每个组成部分上提出了改进方法，在 Librispeech 的测试任务中比 Wav2Vec 2.0 实现了 13％的相对字错误率改进。

    Jun, 2022

  • Wav2vec-C: 一种用于语音表征学习的自监督模型

    Wav2vec-C 是一种结合语音编码和自监督学习的新的表示学习技术，训练模型在未标记数据和标记数据上表现都很好。

    Mar, 2021

  • 自监督语音模型的探索：情感语料库研究

    本研究通过定量分析情感语料库探索了一种流行的自我监督模型 ——wav2vec 2.0，主要证明了：1）wav2vec 2.0 似乎会丢弃不太有用于词汇识别的语用信息；2）对于情感识别，只使用中间层的表示与对多个层求平均后的表示效果相当，在某些情况下，只使用最后一层的表示效果最差；3）现有的自我监督模型可能不是利用非词汇特征的下游任务的最佳解决方案，为该领域未来的研究提供新的发现和理论基础。

    Oct, 2022