Mar, 2022

分析影响基于自监督预训练表示在语音识别中的有效性因素

PDF
TL;DR本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。
发现论文，激发创造
  • 在实际应用中应用自监督学习，实现混合式自动语音识别

    本文讨论了如何利用未经筛选的音频数据进行自监督学习，在数据预处理到部署流式混合语音识别模型的整个过程中研究了多种不同的预训练策略，比较了近期开发的对比损失，并通过实验结果表明，利用领域内未筛选数据进行自监督学习的表现比领域外其他预训练策略要好。

    May, 2022

  • 基于适配器的预训练方法用于高效可扩展的自监督语音表征学习

    本文介绍了一种方法，可以将预先训练的自我监督（SSL）语音表示转移到多种语言中，使用适配器模块加快新语言任务的预训练，并在不遗忘先前语言表示的情况下学习新的音频 - 语言表示，然后应用这些语言表示进行自动语音识别。

    Jul, 2021

  • 自监督学习对语音识别的受益及演讲者识别

    本研究通过 Voxceleb-1 数据集进行了一系列实验来探究自监督学习在演讲者相关任务中表现良好的因素，结果表明模型的收益来源于语音预测损失、数据规模和模型大小的组合，同时自监督量化器的影响较小。我们进一步采用了集成梯度属性方法和损失函数可视化的方法来理解自监督学习对演说者识别性能的有效性。

    Apr, 2022

  • 基于预训练 SSL、ASR、LM 和 SLU 模型的口语理解整合研究

    本研究旨在探索使用预训练策略增强口语理解任务性能，通过自监督的语音和语言模型在 SLU 测评基准上进行实验，发现预训练模型可于低资源环境中提升结果，其中以预训练的语言和语音模型分别在情感分析和命名实体识别任务上效果最突出。

    Nov, 2022

  • 利用大规模 ASR 模型，在自监督学习中追求说话者验证的有监督性能

    自我监督学习在发音验证中表现出与有监督系统相近的性能，本研究通过对预训练的 WavLM 进行自我监督有监督微调并使用伪标签，实现了语音表示学习中的有监督性能，取得了 0.99％的 EER，接近有监督基线 0.94％的 EER。

    Jun, 2024

  • 探索日语自监督语音表征模型的语言依赖性

    本研究比较跨语言模型和单语言模型在日语自动语音识别上的表现，证明通过使用无标签日语数据，可实现与预先训练仅使用英语和 / 或多语言数据的跨语言模型相当的性能，并在多项自动语音识别任务上展示自监督学习在日语中的最新成果。

    May, 2023

  • 探究自监督预训练模型的集成特征在自动语音识别中的应用

    本文介绍使用多个基于自监督学习的模型以及它们所提取特征的集成方法，改善语音识别任务的性能，并使用三种自监督模型 HuBERT、Wav2vec2.0 和 WaveLM 进行了实验，得到了较好的效果。

    Jun, 2022

  • 衡量自监督预训练中个别域因素的影响

    本文通过对自监督预训练语音中不同领域因素的实验研究，发现语音中的语音学因素在预训练时具有重要作用，而语法和句法因素较不重要，这是首次探究预训练语音中的领域特征。

    Mar, 2022

  • 利用自我监督提升跨域语音识别能力

    本文提出了一种系统的无监督领域自适应框架，利用自监督方法在预训练和微调范式中充分利用无标签数据，在解决提高自监督方法在异领域性能的同时，通过提出三种创新性的调整方法，有效地提高了自适应领域的性能。

    Jun, 2022

  • LeBenchmark: 一个可复现的框架，用于评估自监督语音表示学习

    该论文提出 LeBenchmark，这是一个可重复的框架，用于评估自监督学习从语音到 ASR、语言理解、语音翻译和情感识别的影响，重点关注法语中的语音技术，通过实验表明，SSL 对大多数语音任务都是有益的，但不是所有任务都是。

    Apr, 2021