Nov, 2020

VAW-GAN: 一种用于语音情感元素解耦和重组的方法

PDF
TL;DR本篇研究通过变分自编码 Wasserstein 生成对抗网络（VAW-GAN）研究情感音频的解耦和重组，提出一种基于 VAW-GAN 的发言者依赖型情感语音转换框架，包括两个 VAW-GAN 管道，一个用于频谱转换，另一个用于韵律转换，在客观和主观评估中验证了我们提出的方法的有效性。
emotional voice conversionvaw-ganspeaker-dependent frameworkspectral conversionprosody conversion
发现论文，激发创造
  • 使用全新情感语音数据集实现可见和不可见情感风格转换的声音转换技术

    本文提出了一种基于 VAW-GAN 框架的转换情感语音的方法，通过使用预训练的语音情感识别模型来传递情感样式，使网络能够将已知和未知的情感样式转移到新的话语中，从而实现了出色的性能，并发布了一个情感语音数据集。

    Oct, 2020

  • 利用深度生成混合网络和敌对对偶辨别器进行非并行情感转换

    提出了一种新颖的情感语音转换方法，采用变分循环生成对抗网络（VC-GAN）在没有平行训练数据的情况下进行转换，并通过基本频率轮廓的生成模块进一步优化训练过程，可以实现高质量的情感转换语音的合成。

    Jul, 2020

  • 使用变分自编码瓶颈网络和 Wasserstein 生成对抗网络从不对齐语料库进行语音转换

    该论文提出了一种基于 VAW-GAN 的非平行语音转换框架，可以用于从未对齐的语音语料库中构建语音转换系统，并展示了该框架的有效性和提升的转换质量。

    Apr, 2017

  • 将任何人的情感转换为说话者无关的情感语音转换

    本文提出了一个说话人无关的情感语音转换框架，该框架使用基于 VAW-GAN 的编码器 - 解码器结构和连续小波变换（CWT）来执行谱和韵律转换，还尝试使用 F0 作为解码器的附加输入来提高情感转换性能。实验结果表明，该框架在看到和未看到的说话人方面都可以获得有竞争力的结果。

    May, 2020

  • 基于解缠自监督表征和神经听觉合成器的自然环境语音情感转换

    本文提出了一种方法，该方法使用自监督网络对话语的词汇、说话人和情绪内容进行解缠，并随后使用 HiFiGAN 回声消除器将解缠表示重新合成为目标情感的语音信号。

    Jun, 2023

  • 使用非并行训练数据的 VAW-GAN 歌声转化

    本论文提出了一种基于 VAW-GAN 的歌声转换框架，通过训练一个编码器来解开歌手身份和演唱语调（F0 曲线），通过对歌手身份和 F0 进行条件生成，解码器能够生成具有未见目标歌手身份的输出谱特征，并提高了 F0 渲染的性能。

    Aug, 2020

  • 神经声码器的多目标情感语音转换

    本文介绍了一种利用深度双向长短期记忆网络和神经合成器来进行语音的情感转换，同时使用包含丰富语言信息的音素后验概率作为辅助输入特征，提高了转换效果的多目标情感转换架构 Multi-target EVC (MTEVC)，并将条件 WaveNet 和基于流的 WaveNet (FloWaveNet) 神经合成器作为其核心部件，训练了这些神经合成器，并将语音库中的说话者信息以及情感信息定义为附加特征。实验结果的客观度量和主观评估验证了提出的 MTEVC 架构在情感语音转换方面的有效性。

    Apr, 2020

  • 对话情感识别的解缠变分自编码器

    本研究提出了一种基于 VAD-disentangled Variational AutoEncoder（VAD-VAE）的 ERC 模型，通过引入情感词汇表的 VAD 监督信号，最小化 VAD 分布之间的互信息来增强消解表示，并在两个数据集上优于现有模型。

    May, 2023

  • 使用双领域对抗网络和虚拟对应进行非平行情感语音转换，对于未知说话者情感对

    本文旨在解决情感语音转换领域的一个问题：将没有任何语音情感数据的说话人语音的情感样式从一种风格转换为另一种风格。通过使用双编码器和虚拟领域对偶策略，我们提出的方法在一定程度上解决了基于 GANS 的 EVC 的问题，而且在印地语情感语音数据库上进行了验证。

    Feb, 2023

  • 基于稳健解缠变分语音表示学习的零样本语音转换

    本研究提出利用自监督分离式语音表示学习的新视角进行零样本语音转换，通过在序列变分自编码器中平衡全局说话人表示和时变内容表示之间的信息流实现分离，并应用实时数据增强培训策略以使所学表示不受噪声干扰。在 TIMIT 和 VCTK 数据集上表现出了优越性能，不仅在客观评估上表现良好，而且在主观评估方面具有鲁棒性，即使在源 / 目标语音帧存在噪声的情况下仍能保持不错的性能。

    Mar, 2022