Feb, 2020

使用非平行训练数据转换频谱和声调进行情感语音转换

PDF
TL;DR提出了一种使用循环生成对抗网络和小波变换将非平行语音数据转化为伪对传递来完成情感音频转换，并通过分解基频到 10 个不同时间尺度进行有效的声调转换，实验结果表明，该框架在客观和主观评估中优于基准。
emotional voice conversionfundamental frequencywavelet transformcyclegan networkprosody
发现论文，激发创造
  • 利用深度生成混合网络和敌对对偶辨别器进行非并行情感转换

    提出了一种新颖的情感语音转换方法，采用变分循环生成对抗网络（VC-GAN）在没有平行训练数据的情况下进行转换，并通过基本频率轮廓的生成模块进一步优化训练过程，可以实现高质量的情感转换语音的合成。

    Jul, 2020

  • 非平行情感语音转换

    本文提出了一种非并行数据驱动的情感语音转换方法，通过学习两个分布之间的翻译模型而实现非并行训练，该方法在音频内容编码与情感编码空间中进行情感转换，实现了保留说话人身份和语言特征的情感相关特征转移。

    Nov, 2018

  • 将任何人的情感转换为说话者无关的情感语音转换

    本文提出了一个说话人无关的情感语音转换框架，该框架使用基于 VAW-GAN 的编码器 - 解码器结构和连续小波变换（CWT）来执行谱和韵律转换，还尝试使用 F0 作为解码器的附加输入来提高情感转换性能。实验结果表明，该框架在看到和未看到的说话人方面都可以获得有竞争力的结果。

    May, 2020

  • 使用非并行训练数据的 VAW-GAN 歌声转化

    本论文提出了一种基于 VAW-GAN 的歌声转换框架，通过训练一个编码器来解开歌手身份和演唱语调（F0 曲线），通过对歌手身份和 F0 进行条件生成，解码器能够生成具有未见目标歌手身份的输出谱特征，并提高了 F0 渲染的性能。

    Aug, 2020

  • 基于循环一致性对抗网络实现高质量非平行语音转换

    本文提出了使用循环一致对抗网络（CycleGAN）进行非平行数据语音转换训练的方法，并通过主观评价证明其优于 Merlin 开源神经网络语音合成系统和基于 GAN 的平行 VC 系统。这是非平行 VC 方法表现超过最先进的平行 VC 方法的首次研究。

    Apr, 2018

  • 使用循环一致性对抗网络进行并行无数据语音转换

    本文提出了一个无需并行数据的语音转换方法，称为 CycleGAN-VC，使用循环一致性对抗网络（CycleGAN）与门控卷积神经网络（CNNs）和身份映射损失，可以在不依赖于并行数据的情况下学习从源声音到目标声音的映射，该方法适用于不同的语音转换任务，具有高品质、不需要额外的数据、模块或对准过程，并可以避免无法逆转的模型失真问题。

    Nov, 2017

  • VAW-GAN: 一种用于语音情感元素解耦和重组的方法

    本篇研究通过变分自编码 Wasserstein 生成对抗网络（VAW-GAN）研究情感音频的解耦和重组，提出一种基于 VAW-GAN 的发言者依赖型情感语音转换框架，包括两个 VAW-GAN 管道，一个用于频谱转换，另一个用于韵律转换，在客观和主观评估中验证了我们提出的方法的有效性。

    Nov, 2020

  • CycleGAN-VC2：基于改进 CycleGAN 的非平行语音转换技术

    本文提出了 CycleGAN-VC2，它是 CycleGAN-VC 的改进版本，加入了三种新技术：改进的目标函数（两步对抗性损失）、改进的生成器（2-1-2D CNN）和改进的鉴别器（PatchGAN），经过客观和主观评估，表明 CycleGAN-VC2 在语音转换任务中具有更接近目标的特征序列，且自然度和相似度更好。

    Apr, 2019

  • 基于解缠自监督表征和神经听觉合成器的自然环境语音情感转换

    本文提出了一种方法，该方法使用自监督网络对话语的词汇、说话人和情绪内容进行解缠，并随后使用 HiFiGAN 回声消除器将解缠表示重新合成为目标情感的语音信号。

    Jun, 2023

  • 将对比损失和非对比损失相结合，以微调预训练的语音分析模型

    本研究提出了一种改进内部嵌入空间和使用对比和非对比损失的适配器来处理类内差异的方法，并将其应用于情感分类问题，发现本方法在多个任务上均优于端到端微调基线，并超过最先进的情感分类基准。

    Oct, 2022