Jul, 2023

SLMGAN：利用语音语言模型表示的 GAN 进行无监督零样本语音转换

PDF
TL;DR介绍了一种新的方法 SLMGAN，它利用 SLM（大规模预训练的语音语言模型）在生成对抗网络（GAN）框架中实现鉴别任务，特别是用于语音转换。通过在基于 mel 的鉴别器之上添加基于 SLM 的 WavLM 鉴别器，并结合新设计的 SLM 特征匹配损失函数，实现了一种无监督的零样本语音转换系统，培训过程中不需要文本标签。主观评估结果表明，SLMGAN 在自然度方面优于现有的零样本语音转换模型，并达到了相似性方面的可比较水平，突显了基于 SLM 的鉴别器在相关应用中的潜力。
发现论文，激发创造
  • StarGAN-ZSVC：低资源环境下的零样本语音转换

    本文提出了一个基于生成性对抗网络的语音转换模型，该模型可以在零阶设置下使用未见过的讲话者，并且在实时或更快的速度下运行，与其他语音转换技术相比，该模型在小量数据的零阶设置下表现优异。

    May, 2021

  • 基于稳健解缠变分语音表示学习的零样本语音转换

    本研究提出利用自监督分离式语音表示学习的新视角进行零样本语音转换，通过在序列变分自编码器中平衡全局说话人表示和时变内容表示之间的信息流实现分离，并应用实时数据增强培训策略以使所学表示不受噪声干扰。在 TIMIT 和 VCTK 数据集上表现出了优越性能，不仅在客观评估上表现良好，而且在主观评估方面具有鲁棒性，即使在源 / 目标语音帧存在噪声的情况下仍能保持不错的性能。

    Mar, 2022

  • 通用可推广的零样本说话者自适应语音合成与解绑表示

    解决合成声音的自然性和说话人相似度降低的问题，我们提出了一种通用的零样本说话人自适应语音合成和声音转换模型。该模型使用解耦表示学习来改善模型的普适性，并利用变分自动编码器的表示学习能力增强说话人编码器，实验证明我们的模型在未知说话人上有更好的表现。

    Aug, 2023

  • 生成式口语对话语言建模

    本文介绍了 dGSLM，这是第一个无需文字或标签即能生成自然对话语音的 “textless” 模型，使用双塔变压器体系结构与跨注意力机制，经过 2000 小时的对话录音训练，能同时合成两个渠道的人类语音和语音附属特征，并展示其相对于基于文本的级联模型表现出更自然和流畅的交替发言。

    Mar, 2022

  • 利用 GAN 进行零样本学习的视觉语音识别新类别

    本文介绍了一种使用生成对抗网络 (GANs) 生成新类别的零样本学习方法，用于提高视觉语音识别系统的准确性和处理跨语音的词汇。本研究展示出，该模型是语言无关的，因此可以使用英语训练数据生成新语言 (如印地语) 的视频。我们公开了添加了新类别的视频和代码。

    Jan, 2019

  • 通过自监督表示增强基于 LLM 的语音生成系统的稳定性

    在这项研究中，我们介绍了一种新的自监督语音转换（VC）架构，它可以用来学习将瞬时特征，如内容，与静态特征（如说话者 ID 或录音条件）分开进行编码，从而创建说话者解耦的表示。结果表明，训练过以说话者解耦的自监督表示的 Large Language Models（LLMs）相比于最先进的关联表示提高了 4.7 个百分点的说话者相似度，并降低了 5.4 个百分点的词错误率（WER）。此外，它们在自然性方面比 LibriTTS 测试集中的人类录音表现更好。最后，我们表明使用明确的参考嵌入对可读性（稳定性）产生负面影响，与仅使用文本来推断风格的模型相比，WER 增加了 14 个百分点。

    Feb, 2024

  • StarGAN-VC：基于星形生成敌对网络的非平行多对多语音转换

    本文提出了一种使用生成对抗网络的变体 StarGAN 进行非平行多对多语音转换（VC）的方法，称为 StarGAN-VC，这种方法可以在不需要平行语音生成器训练的情况下实现并同时学习不同属性域之间的多对多映射，能够快速生成转换的语音信号，并且具有比基于变分自编码 GAN 的最新方法更高的音质和说话者相似度。

    Jun, 2018

  • Fusion-S2iGan：一种高效有效的语音图像生成单阶段框架

    采用音频表示与图像生成的融合结构，实现单阶段的语音到图像生成，比基于多阶段模块的现有方法更有效，更高效，性能与传统的文本到图像方法相当。

    May, 2023

  • 利用生成式零样本学习的不变侧面

    使用生成对抗网络，提出了一种名为 LisGAN 的新方法，可以通过条件噪声直接生成未见过的特征。灵魂样本被引入生成式零样本学习中作为不变的一面，具有类别的元表示，并且通过联合部署两个分类器来实现粗分类和细分类，超过了现有方法的表现。

    Apr, 2019

  • SLM：填补语音与文本基础模型之间的差距

    我们提出了一种联合语音与语言模型（SLM），它是一种多任务、多语种、双模态的模型，充分利用了预训练的语音和语言基础模型。SLM 通过将预训练的基础模型冻结，最大限度地保留它们的能力，并只训练一个只包含 1％（156M）基础模型参数的简单适配器，从而在传统任务（如语音识别和语音翻译）上取得了强大的性能，同时还具备了零 - shot 指导的新颖能力，能够完成包括上下文偏置语音识别、对话生成、语音延续和问答等多样化任务。我们的方法表明，预训练的语音和语言模型之间的表征差距可能比人们预期的要小，并可以通过简单的适应机制来弥合。因此，SLM 不仅训练高效，而且继承了不同模态基础模型已经具备的强大能力。

    Sep, 2023