Sep, 2023

HiFTNet：具备谐波加噪滤波器和逆短时傅里叶变换的高速高质量神经声码器

PDF
TL;DR本文介绍了一种名为 HiFTNet 的扩展模型，通过在时频域中使用基频（F0）的正弦源来快速推理，结合了反短时傅里叶变换（iSTFT）和谐波加噪声源滤波器，实现了高效、高质量的神经音频编码，为实时高质量语音合成应用开辟了新的前景。
speech synthesisgan-based networkshiftnetneural vocodingreal-time applications
发现论文，激发创造
  • iSTFTNet2：基于 1D-2D CNN 的更快速、更轻量化 iSTFT 基础神经声码器

    iSTFTNet2 是 iSTFTNet 的改进版本，使用 1D 和 2D CNN 分别模拟时间和谱图结构，提高了模拟高维谱图的能力，并且保持了速度和语音质量。

    Aug, 2023

  • HiFi-GAN: 高效高保真语音合成的生成对抗网络

    该研究提出了 HiFi-GAN，一种高效且高保真度的语音合成方法，通过对声音的周期性模式进行建模，生成的音频质量接近于人类水平。

    Oct, 2020

  • FastFit: 通过多个 STFT 代替 U-Net 编码器，实现实时迭代神经声码器

    本文介绍了一种新的神经声码器架构 FastFit, 其使用多个短时傅里叶变换 (STFT) 来替换 U-Net 编码器，从而实现更快的生成速度，而不会牺牲样品质量。通过客观和主观的评估，我们证明了该模型提高了将近两倍的基准迭代声码器的生成速度，同时保持高音质。进一步表明，在多说话人和零 - shot 文本到语音等评估场景中，FastFit 产生了与其他基线模型类似的音质。

    May, 2023

  • 一种神经编码器，采用分层生成模式的幅度与相位光谱，用于统计参数语音合成

    本研究提出了一种名为 HiNet 的神经声码器，其通过分层预测振幅和相位谱从声学特征重建语音波形，包含振幅谱预测器（ASP）、相位谱预测器（PSP）以及基于神经源 - 滤波器波形生成器和相位提取器的 PSP。此外，我们还将生成对抗网络引入到 ASP 和 PSP 中。最终，ASP 和 PSP 的输出通过短时傅里叶合成结合生成 1s 语音波形的时间可大幅减少。

    Jun, 2019

  • FastSpeech: 快速、健壮、可控的文本到语音

    本研究提出了一种基于 Transformer 模型、并行生成梅尔频谱的快速语音合成模型 FastSpeech，它在语音质量、稳定性、可控性和速度方面均具备相应优点。

    May, 2019

  • 使用全卷积网络进行语音去混响

    本文利用全卷积网络 (FCN) 来处理语音信号的混响问题，提出了用 U-Net 和 GAN 算法来处理时频短时傅里叶变换 (STFT) 表示的语音信号。通过与其他算法的比较，结果表明本文提出的方法在大多数情况下表现更好。

    Mar, 2018

  • 一种感知动机的方法用于低复杂度、实时完整语音的增强

    本文提出了一种称之为 PercepNet 的用于语音增强的深度学习方法，该方法仅需要短时间的傅里叶变换，通过聚焦于语音的谱包络和周期性，可以实现高质量、实时的全频带语音增强，仅需要不到 5% 的 CPU 核心。

    Aug, 2020

  • 统计参数语音合成的神经源 - 滤波波形模型

    提出了一种不需要自回归或逆自回归的神经源 - 滤波器 (NSF) 波形建模框架，该框架比 WaveNet 等传统自回归模型具有更快的波形生成速度，并且所生成的合成语音质量至少与 WaveNet 相当。

    Apr, 2019

  • WOLONet: 面向高效和高保真度语音合成的 Wave Outlooker

    本文提出了一种新的、有效的、轻量级的神经声码器 WOLONet，在实现高保真度的实时合成波形的同时，还能够在参数更少的情况下获得比 HiFiGAN 和 UnivNet 更好的生成质量。

    Jun, 2022

  • FloWaveNet：用于原始音频的生成流

    本文提出了 FloWaveNet，一种基于可逆流的生成模型，使用单阶段训练程序和单个最大似然损失函数，无需附加的辅助项，能实时高效地输出与先前两阶段并行模型相媲美的清晰音频

    Nov, 2018