Jun, 2018

StarGAN-VC：基于星形生成敌对网络的非平行多对多语音转换

PDF
TL;DR本文提出了一种使用生成对抗网络的变体 StarGAN 进行非平行多对多语音转换（VC）的方法，称为 StarGAN-VC，这种方法可以在不需要平行语音生成器训练的情况下实现并同时学习不同属性域之间的多对多映射，能够快速生成转换的语音信号，并且具有比基于变分自编码 GAN 的最新方法更高的音质和说话者相似度。
发现论文，激发创造
  • StarGAN-VC2: 基于 StarGAN 的语音转换中重新思考条件方法

    本研究提出了一种改进的条件方法 StarGAN-VC2，包含源域和目标域的条件对抗损失和基于调制的条件方法，来使多域语音转换更加准确和自然。实验结果显示，该方法在语音质量和说话人相似度方面优于之前的 StarGAN-VC 模型。

    Jul, 2019

  • 基于循环一致性对抗网络实现高质量非平行语音转换

    本文提出了使用循环一致对抗网络（CycleGAN）进行非平行数据语音转换训练的方法，并通过主观评价证明其优于 Merlin 开源神经网络语音合成系统和基于 GAN 的平行 VC 系统。这是非平行 VC 方法表现超过最先进的平行 VC 方法的首次研究。

    Apr, 2018

  • 使用变分自编码瓶颈网络和 Wasserstein 生成对抗网络从不对齐语料库进行语音转换

    该论文提出了一种基于 VAW-GAN 的非平行语音转换框架，可以用于从未对齐的语音语料库中构建语音转换系统，并展示了该框架的有效性和提升的转换质量。

    Apr, 2017

  • 使用对比鉴别器增强 Star-GAN 进行语音转换

    本文提出了一种名为 SimSiam-StarGAN-VC 的方法，利用对比学习和高效的同构网络结构解决了 StarGAN-VCs 模型训练过程中存在的挑战，实验结果表明该模型在客观和主观评价指标上都显著优于现有的 StarGAN-VC 方法。

    Sep, 2022

  • StarGAN-ZSVC：低资源环境下的零样本语音转换

    本文提出了一个基于生成性对抗网络的语音转换模型，该模型可以在零阶设置下使用未见过的讲话者，并且在实时或更快的速度下运行，与其他语音转换技术相比，该模型在小量数据的零阶设置下表现优异。

    May, 2021

  • CycleGAN-VC2：基于改进 CycleGAN 的非平行语音转换技术

    本文提出了 CycleGAN-VC2，它是 CycleGAN-VC 的改进版本，加入了三种新技术：改进的目标函数（两步对抗性损失）、改进的生成器（2-1-2D CNN）和改进的鉴别器（PatchGAN），经过客观和主观评估，表明 CycleGAN-VC2 在语音转换任务中具有更接近目标的特征序列，且自然度和相似度更好。

    Apr, 2019

  • 用生成对抗网络对失语症患者的非配对语音进行转换

    本研究提出了一种新的音频转换方法，是一种 GAN-based 无监督的语音转换模型，用于改善协助医疗手术的病人的语音理解性，该方法可以将受损的语音转换为正常的语音而保留语言内容和说话人特征。

    Oct, 2018

  • 使用循环一致性对抗网络进行并行无数据语音转换

    本文提出了一个无需并行数据的语音转换方法，称为 CycleGAN-VC，使用循环一致性对抗网络（CycleGAN）与门控卷积神经网络（CNNs）和身份映射损失，可以在不依赖于并行数据的情况下学习从源声音到目标声音的映射，该方法适用于不同的语音转换任务，具有高品质、不需要额外的数据、模块或对准过程，并可以避免无法逆转的模型失真问题。

    Nov, 2017

  • MelGAN-VC: 基于频谱的任意长度样本的语音转换和音频风格转换

    MelGAN-VC 使用 GAN 架构、siamese 网络等对非平行语音数据进行语音转换，不仅能精确地将源语音转换为目标语音，还能保留语音信息和灵活地建模目标说话者的风格，同时还能用于音乐风格转换等音频处理应用。

    Oct, 2019

  • 使用非并行训练数据的 VAW-GAN 歌声转化

    本论文提出了一种基于 VAW-GAN 的歌声转换框架，通过训练一个编码器来解开歌手身份和演唱语调（F0 曲线），通过对歌手身份和 F0 进行条件生成，解码器能够生成具有未见目标歌手身份的输出谱特征，并提高了 F0 渲染的性能。

    Aug, 2020