Apr, 2019

CycleGAN-VC2：基于改进 CycleGAN 的非平行语音转换技术

PDF
TL;DR本文提出了 CycleGAN-VC2，它是 CycleGAN-VC 的改进版本，加入了三种新技术：改进的目标函数（两步对抗性损失）、改进的生成器（2-1-2D CNN）和改进的鉴别器（PatchGAN），经过客观和主观评估，表明 CycleGAN-VC2 在语音转换任务中具有更接近目标的特征序列，且自然度和相似度更好。
non-parallel voice conversioncyclegan-vc2adversarial losses2-1-2d cnnpatchgan
发现论文，激发创造
  • 基于循环一致性对抗网络实现高质量非平行语音转换

    本文提出了使用循环一致对抗网络（CycleGAN）进行非平行数据语音转换训练的方法，并通过主观评价证明其优于 Merlin 开源神经网络语音合成系统和基于 GAN 的平行 VC 系统。这是非平行 VC 方法表现超过最先进的平行 VC 方法的首次研究。

    Apr, 2018

  • 使用循环一致性对抗网络进行并行无数据语音转换

    本文提出了一个无需并行数据的语音转换方法，称为 CycleGAN-VC，使用循环一致性对抗网络（CycleGAN）与门控卷积神经网络（CNNs）和身份映射损失，可以在不依赖于并行数据的情况下学习从源声音到目标声音的映射，该方法适用于不同的语音转换任务，具有高品质、不需要额外的数据、模块或对准过程，并可以避免无法逆转的模型失真问题。

    Nov, 2017

  • StarGAN-VC2: 基于 StarGAN 的语音转换中重新思考条件方法

    本研究提出了一种改进的条件方法 StarGAN-VC2，包含源域和目标域的条件对抗损失和基于调制的条件方法，来使多域语音转换更加准确和自然。实验结果显示，该方法在语音质量和说话人相似度方面优于之前的 StarGAN-VC 模型。

    Jul, 2019

  • StarGAN-VC：基于星形生成敌对网络的非平行多对多语音转换

    本文提出了一种使用生成对抗网络的变体 StarGAN 进行非平行多对多语音转换（VC）的方法，称为 StarGAN-VC，这种方法可以在不需要平行语音生成器训练的情况下实现并同时学习不同属性域之间的多对多映射，能够快速生成转换的语音信号，并且具有比基于变分自编码 GAN 的最新方法更高的音质和说话者相似度。

    Jun, 2018

  • 用生成对抗网络对失语症患者的非配对语音进行转换

    本研究提出了一种新的音频转换方法，是一种 GAN-based 无监督的语音转换模型，用于改善协助医疗手术的病人的语音理解性，该方法可以将受损的语音转换为正常的语音而保留语言内容和说话人特征。

    Oct, 2018

  • 利用深度生成混合网络和敌对对偶辨别器进行非并行情感转换

    提出了一种新颖的情感语音转换方法，采用变分循环生成对抗网络（VC-GAN）在没有平行训练数据的情况下进行转换，并通过基本频率轮廓的生成模块进一步优化训练过程，可以实现高质量的情感转换语音的合成。

    Jul, 2020

  • 使用变分自编码瓶颈网络和 Wasserstein 生成对抗网络从不对齐语料库进行语音转换

    该论文提出了一种基于 VAW-GAN 的非平行语音转换框架，可以用于从未对齐的语音语料库中构建语音转换系统，并展示了该框架的有效性和提升的转换质量。

    Apr, 2017

  • 通过对抗学习分离音频表示进行无平行数据的多目标语音转换

    该研究提出了一种使用循环一致性对抗网络（Cycle-GAN）和自编码器的声音转换和身份识别方法，可将声音转换为多种不同的说话者，同时实现了说话人特征和语言内容的分离。初步实验结果表明，在没有平行数据的情况下，可取得非常好的语音质量。

    Apr, 2018

  • AutoCycle-VC: 以瓶颈独立为目标的零样本跨语言语音转换

    提出了一个简单而强大的零样本语音转换系统，使用了循环结构和梅尔频谱预处理，通过循环一致性损失考虑目标和源说话者之间的转换，同时利用堆叠的随机排序梅尔频谱和标签平滑方法在说话者编码器训练过程中提取不受时间约束的全局说话者表示，模型在主观和客观评估中表现优于现有的最先进结果，并可促进跨语言语音转换并提高合成语音的质量。

    Oct, 2023

  • 2018 年语音转换挑战赛：促进并行和非并行方法的开发

    本文主要介绍 2018 年语音转换挑战赛，包括任务及相关技术和结果总结。

    Apr, 2018