Mar, 2021

GAN Vocoder: 多分辨率判别器即可

PDF
TL;DR本文通过实验证明，GAN-based vocoders 的成功源于它们共同采用的 multi-resolution discriminating framework，而非架构、损失函数或训练策略等方面的微小细节，多个生成器使用相同的 multi-resolution discriminating framework 能够实现相同效果。
gan-based vocodersmulti-resolution discriminating frameworktext-to-speech synthesesperceptual metricsautoregressive
发现论文，激发创造
  • UnivNet: 带多分辨率频谱鉴别器的神经声码器，用于高保真波形生成

    该研究提出了一种名为 UnivNet 的神经声码器，利用全频带谱特征作为输入，通过添加多分辨率谱图鉴别器来解决非锐利音频信号生成的问题，并在大量演讲者信息数据集上取得最佳客观和主观结果。

    Jun, 2021

  • GAN 的在线自适应课程学习

    提出了一种基于多个鉴别器网络来训练生成器的创新框架，通过更新分配给每个判别器的混合权重来反映生成器的进展情况，实验结果表明能够通过学习曲线来提高样本的质量和多样性。

    Jul, 2018

  • Avocado: 无伪影语音编码器的生成对抗网络

    本研究提出了一种名为 Avocodo 的基于 GAN 的语音合成系统，它使用多种鉴别器来评估语音波形，并利用伪四象限镜滤波器组来避免损失波，该系统在数字和人类主观测试中均表现出较高的音质。

    Jun, 2022

  • VocGAN：一种具有分层嵌套对抗网络的高保真实时声码器

    本研究提出了一种名为 VocGAN 的高保真实时神经声码器，其在几乎与 MelGAN 相同的速度下，显著提高了输出波形的质量和一致性，利用多尺度波形生成器和分层嵌套鉴别器以平衡地学习多个水平的声学属性，同时应用联合条件和无条件目标，在多个评估指标中显示出显著的改进

    Jul, 2020

  • Fre-GAN: 对抗训练的频率一致音频合成

    本文提出了一种名为 “Fre-GAN” 的神经音源模型，通过分辨率连接生成器和分辨率智能的鉴别器，在多个频带中学习各种尺度的频谱分布，有效地实现高保真频率一致性音频合成，并在质量和 MOS 上优于标准模型。

    Jun, 2021

  • 通用 MelGAN: 多领域高保真波形生成的强力神经声码器

    我们提出了 Universal MelGAN，它是一种合成高保真语音的声码器，可以在多个领域中使用，并通过添加多分辨率频谱图鉴别器来解决大型模型高频带过度平滑的问题，最终生成高度逼真的语音信号。

    Nov, 2020

  • 对抗训练的多歌手序列到序列歌唱合成器

    本文提出了一种高质量的歌唱合成器，它能够在有限的可用录音基础上模拟出一种声音，采用序列到序列的歌唱模型，并设计了一个多歌手框架来利用不同歌手的现有歌唱数据，以减轻歌唱评分不平衡的问题。此外，为了使编码器输出与歌手无关，我们加入了一个对抗性任务来保证模型的平衡性及多随机窗口鉴别器（MRWDs）以使网络成为 GAN。客观和主观的评估表明，所提出的合成器比基准测试能够产生更高质量的歌唱声音（MOS 值分别为 4.12 和 3.53）。特别是高音元音的表达得到了显著改善。

    Jun, 2020

  • 一种多判别器循环生成对抗网络用于非平行语音领域自适应无监督学习

    本研究提出了一种基于循环一致性生成对抗网络 (CycleGAN) 的非平行语音领域自适应的新生代模型，通过在功率频谱上使用多个独立的判别器，模型能够产生更逼真的域自适应谱图，在性别自适应的语音识别任务上，相对于基线模型，在 TIMIT 和 WSJ 数据集上表现都有很大提升。

    Mar, 2018

  • BigVGAN: 大规模训练的通用神经声码器

    该研究使用周期性激活函数和柿子化表示来改进基于生成对抗网络的声码器，提高音频合成质量。BigVGAN 是一个通用的声码器，可以应用于各种分布情况，包括未见过的语音，语言和录制环境。

    Jun, 2022

  • WGANSing：基于 Wasserstein-GAN 的多声部唱歌合成器

    本研究提出了一种基于深度神经网络的歌声合成器，使用 Wasserstein-GAN 算法进行优化，通过声学建模的声码器参数，实现对歌唱声音中音高和音色的分离，采用分块方法建模输入块内的时间依赖关系，并使用重叠添加程序将连续块拼接在一起，该模型的绩效达到了与最先进技术相竞争的水平。

    Mar, 2019