Oct, 2020

使用全新情感语音数据集实现可见和不可见情感风格转换的声音转换技术

PDF
TL;DR本文提出了一种基于 VAW-GAN 框架的转换情感语音的方法，通过使用预训练的语音情感识别模型来传递情感样式，使网络能够将已知和未知的情感样式转移到新的话语中，从而实现了出色的性能，并发布了一个情感语音数据集。
emotional voice conversionencoder-decoder networkvaw-ganspeech emotion recognitionemotional speech dataset
发现论文，激发创造
  • VAW-GAN: 一种用于语音情感元素解耦和重组的方法

    本篇研究通过变分自编码 Wasserstein 生成对抗网络（VAW-GAN）研究情感音频的解耦和重组，提出一种基于 VAW-GAN 的发言者依赖型情感语音转换框架，包括两个 VAW-GAN 管道，一个用于频谱转换，另一个用于韵律转换，在客观和主观评估中验证了我们提出的方法的有效性。

    Nov, 2020

  • 使用双领域对抗网络和虚拟对应进行非平行情感语音转换，对于未知说话者情感对

    本文旨在解决情感语音转换领域的一个问题：将没有任何语音情感数据的说话人语音的情感样式从一种风格转换为另一种风格。通过使用双编码器和虚拟领域对偶策略，我们提出的方法在一定程度上解决了基于 GANS 的 EVC 的问题，而且在印地语情感语音数据库上进行了验证。

    Feb, 2023

  • 语音情感识别中的非监督语音风格转移数据增强

    该文研究了语音情感识别中数据不足的问题，提出了一种称为 EmoAug 的情感样式转移模型，该模型可以用来增强音频数据的情感表达，包括应对数据不平衡的问题，实验表明该模型在提取语音情感特征方面的效果显著优于现有方法。

    Nov, 2022

  • 基于解缠自监督表征和神经听觉合成器的自然环境语音情感转换

    本文提出了一种方法，该方法使用自监督网络对话语的词汇、说话人和情绪内容进行解缠，并随后使用 HiFiGAN 回声消除器将解缠表示重新合成为目标情感的语音信号。

    Jun, 2023

  • 将任何人的情感转换为说话者无关的情感语音转换

    本文提出了一个说话人无关的情感语音转换框架，该框架使用基于 VAW-GAN 的编码器 - 解码器结构和连续小波变换（CWT）来执行谱和韵律转换，还尝试使用 F0 作为解码器的附加输入来提高情感转换性能。实验结果表明，该框架在看到和未看到的说话人方面都可以获得有竞争力的结果。

    May, 2020

  • 利用深度生成混合网络和敌对对偶辨别器进行非并行情感转换

    提出了一种新颖的情感语音转换方法，采用变分循环生成对抗网络（VC-GAN）在没有平行训练数据的情况下进行转换，并通过基本频率轮廓的生成模块进一步优化训练过程，可以实现高质量的情感转换语音的合成。

    Jul, 2020

  • 端到端语音合成中学习风格控制与转移的潜在表示

    本文介绍了利用变分自编码器（VAE）来实现语音合成模型的端到端学习，以无监督的方式学习发音风格的潜在表示。通过 VAE 学习到的风格表示具有解缠、缩放和组合等良好的特性，使得风格控制变得容易。通过先通过 VAE 的识别网络推断出风格表示，然后将其馈入 TTS 网络来引导语音合成中的风格，可以在这个框架中实现风格转移。为了避免在训练过程中 KL 散度崩溃，采用了多种技术。最后，所提出的模型在风格控制上表现良好，并在风格转移的 ABX 偏好测试中优于全局风格令牌（GST）模型。

    Dec, 2018

  • 非平行情感语音转换

    本文提出了一种非并行数据驱动的情感语音转换方法，通过学习两个分布之间的翻译模型而实现非并行训练，该方法在音频内容编码与情感编码空间中进行情感转换，实现了保留说话人身份和语言特征的情感相关特征转移。

    Nov, 2018

  • 变分自编码器用于学习语音情感的潜在表示：初步研究

    该研究提出对于语音情感识别任务，在深度生成模型 VAE 的启发下，使用 VAEs 学习语音信号的潜在表征，并使用这种表征来分类情感，证明通过 VAEs 学习到的特征可产生情感分类的最佳结果。

    Dec, 2017

  • 使用预训练的深度视觉模型进行情感语音识别

    本文提出使用视觉深度神经网络模型进行情感语音识别的新方法，通过使用预先训练的计算机视觉深度模型的迁移学习能力，将声学特征转化为图像进行识别，并在 Berlin EMO-DB 数据集上进行实验，取得了新的最佳效果。

    Apr, 2022