Nov, 2020

通用 MelGAN: 多领域高保真波形生成的强力神经声码器

PDF
TL;DR我们提出了 Universal MelGAN，它是一种合成高保真语音的声码器，可以在多个领域中使用，并通过添加多分辨率频谱图鉴别器来解决大型模型高频带过度平滑的问题，最终生成高度逼真的语音信号。
universal melganvocoderspectrogram discriminatorsmulti-speakerhigh-fidelity speech
发现论文，激发创造
  • Multi-band MelGAN：高品质文本转语音的快速波形生成

    本研究提出了一种快速的多波段 MelGAN 模型，通过增加接收域、使用多分辨率 STFT 损失和多波段处理提高声音生成的质量和稳定性。结果表明，该模型在声波生成和 TTS 方面均取得了较高的 MOS 得分。

    May, 2020

  • StyleMelGAN：一种高效高保真的对抗性合成声码器，具有时态自适应归一化

    提出 StyleMelGAN 算法，实现高保真度语音合成，并解决了低计算复杂度的问题。

    Nov, 2020

  • UnivNet: 带多分辨率频谱鉴别器的神经声码器，用于高保真波形生成

    该研究提出了一种名为 UnivNet 的神经声码器，利用全频带谱特征作为输入，通过添加多分辨率谱图鉴别器来解决非锐利音频信号生成的问题，并在大量演讲者信息数据集上取得最佳客观和主观结果。

    Jun, 2021

  • MelGAN: 生成对抗网络用于条件波形合成

    该研究提供了一种新的、用于生成高质量音频的 GAN 结构以及相关训练技巧，并证明了其在语音合成、音乐领域翻译和音乐合成中的有效性。

    Oct, 2019

  • VocGAN：一种具有分层嵌套对抗网络的高保真实时声码器

    本研究提出了一种名为 VocGAN 的高保真实时神经声码器，其在几乎与 MelGAN 相同的速度下，显著提高了输出波形的质量和一致性，利用多尺度波形生成器和分层嵌套鉴别器以平衡地学习多个水平的声学属性，同时应用联合条件和无条件目标，在多个评估指标中显示出显著的改进

    Jul, 2020

  • MelGAN-VC: 基于频谱的任意长度样本的语音转换和音频风格转换

    MelGAN-VC 使用 GAN 架构、siamese 网络等对非平行语音数据进行语音转换，不仅能精确地将源语音转换为目标语音，还能保留语音信息和灵活地建模目标说话者的风格，同时还能用于音乐风格转换等音频处理应用。

    Oct, 2019

  • 实现鲁棒通用神经语音编码

    本文探讨了神经声码器的潜在普适性，通过训练 74 个具有 17 种语言的说话者的 WaveRNN-based 声码器，无论是在训练中观察到的还是从实验室质量的录音条件下的域外场景，都能够生成质量始终良好（相对平均 MUSHRA 为 98%）的语音，即使在质量发生显着变化时，或者朝着非语音发音或歌唱的方向移动时，该声码器仍然显着优于说话者相关的声码器，但是平均相对 MUSHRA 低至 75％，并且这些结果在不同语言间具有一致性。

    Nov, 2018

  • BigVGAN: 大规模训练的通用神经声码器

    该研究使用周期性激活函数和柿子化表示来改进基于生成对抗网络的声码器，提高音频合成质量。BigVGAN 是一个通用的声码器，可以应用于各种分布情况，包括未见过的语音，语言和录制环境。

    Jun, 2022

  • cMelGAN：基于 Mel 频谱的高效条件生成模型

    研究了使用机器学习分析音乐的难点，提出了一种基于 Mel 频谱图和卷积神经网络架构的音乐创作生成模型 cMelGAN，并与基于音符的生成模型进行对比实验。

    May, 2022

  • MelNet: 频域音频生成模型

    利用二维时频表示，概率模型和多尺度生成，设计了一个能够捕捉高时间尺度结构的模型，可以在各种音频生成任务中达到比以往更好的效果。

    Jun, 2019