May, 2024

填补空缺！结合自监督表示学习与神经声音合成实现语音修复

PDF
TL;DR使用语音自监督学习模型进行语音修复任务时，选择冻结一个模型并微调另一个模型以更好地适应单一或多说话者数据，提供了有效的信号重建策略。
speech self-supervised learningspeech inpaintingssl encoderneural vocodermulti-speaker data
发现论文，激发创造
  • 自我监督表示在自动语音识别中的高效注入

    我们提出了两种简单的方法，使用逐帧加法和交叉注意机制来高效地将自监督学习模型的表示纳入 ASR 架构，从而在训练期间避免使用自监督学习模型，加快了训练速度，并在 Librispeech 和 Tedlium 数据集上相较于基准模型实现了显著性能提升。

    Apr, 2024

  • 自监督语音模型在音频表示方面的功效

    本研究提出融合自监督学习语音模型嵌入的集成框架，旨在探究其在音频和非语音任务中的表示能力，实验证明该框架普遍优于当前最先进的自监督学习语音 / 音频模型，特别在面对细粒度音乐任务时也表现出强大的能力。

    Sep, 2022

  • 基于深度学习的音视频言语修复

    本文介绍了一种基于深度学习的框架，用于音频 - 视觉的语音修复，展示了多任务学习与视觉信息对语音信号修复的有效贡献并比较了仅音频信息下的表现。

    Oct, 2020

  • 通过合成进行语音增强的自监督学习

    本文提出了一种基于去噪声码器的语音增强方法，利用自监督学习获取语音的相关特征，并采用最佳的自监督学习配置，采用对抗训练方式进行声音去噪，最终实现了一种具备实时能力、优化了客观指标并超越了当前最先进的语音增强模型的方案。

    Nov, 2022

  • 联合编码器 - 解码器自监督预训练用于 ASR

    本文提出了一种新的自监督学习范式，利用解码器的威力提高语音识别下游任务的性能。HuBERT 框架用于计算编码器的传统掩蔽预测损失，同时在框架中引入了解码器和目标准备策略。最终，我们使用一个多任务 SSL 设置，其同时优化编码器和解码器损失，实现了 ASR 表现的 25% 相对改进。

    Jun, 2022

  • 大规模自监督学习的语音分离

    本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

    Nov, 2022

  • LASER：通过自我监督学习对齐语音表示以改进内容相关任务

    使用 SSFT 方法 LASER，通过自附着自监督表示的学习和对齐，通过少量的 GPU 精调获得相对于 ASR 和 PR 任务的显著改进。

    Jun, 2024

  • 探究自监督预训练模型的集成特征在自动语音识别中的应用

    本文介绍使用多个基于自监督学习的模型以及它们所提取特征的集成方法，改善语音识别任务的性能，并使用三种自监督模型 HuBERT、Wav2vec2.0 和 WaveLM 进行了实验，得到了较好的效果。

    Jun, 2022

  • SCORE：自监督对应微调以改善内容表达

    提出了一种称为 SCORE 微调的自我监督一致性微调方法，用于自适应自我监督学习语音表示，以适应与内容相关的任务。与 SPIN 方法相比，SCORE 仅使用 1/3 的处理语音，在超级基准（SUPERB benchmark）上表现出优越的结果。(Translated simplified Chinese summary)

    Mar, 2024

  • 自监督学习用于语音识别中间层辅助训练

    利用中间层监督自监督学习（ILS-SSL）对语音预训练模型进行优化，可以更好地集中于音频内容信息学习，从而实现识别性能的提高，并且在语言模型不被使用情况下，相对字错率下降 23.5%。

    Dec, 2021