Jun, 2021

UnivNet: 带多分辨率频谱鉴别器的神经声码器，用于高保真波形生成

PDF
TL;DR该研究提出了一种名为 UnivNet 的神经声码器，利用全频带谱特征作为输入，通过添加多分辨率谱图鉴别器来解决非锐利音频信号生成的问题，并在大量演讲者信息数据集上取得最佳客观和主观结果。
neural vocoderfull-band spectral featuresunivnetmulti-resolution spectrogram discriminatorreal-time synthesis
发现论文，激发创造
  • 通用 MelGAN: 多领域高保真波形生成的强力神经声码器

    我们提出了 Universal MelGAN，它是一种合成高保真语音的声码器，可以在多个领域中使用，并通过添加多分辨率频谱图鉴别器来解决大型模型高频带过度平滑的问题，最终生成高度逼真的语音信号。

    Nov, 2020

  • Wave-U-Net: 一种用于端到端音频源分离的多尺度神经网络

    本文提出了一种基于 Wave-U-Net 的新颖的时域音源分离结构，在处理长时间序列信号时取得了较好的分离效果，并通过改进输出层和追溯预测框架等结构进行优化，同时揭示了当前 SDR 指标存在的问题并提出了改进方案。

    Jun, 2018

  • GAN Vocoder: 多分辨率判别器即可

    本文通过实验证明，GAN-based vocoders 的成功源于它们共同采用的 multi-resolution discriminating framework，而非架构、损失函数或训练策略等方面的微小细节，多个生成器使用相同的 multi-resolution discriminating framework 能够实现相同效果。

    Mar, 2021

  • 一种神经编码器，采用分层生成模式的幅度与相位光谱，用于统计参数语音合成

    本研究提出了一种名为 HiNet 的神经声码器，其通过分层预测振幅和相位谱从声学特征重建语音波形，包含振幅谱预测器（ASP）、相位谱预测器（PSP）以及基于神经源 - 滤波器波形生成器和相位提取器的 PSP。此外，我们还将生成对抗网络引入到 ASP 和 PSP 中。最终，ASP 和 PSP 的输出通过短时傅里叶合成结合生成 1s 语音波形的时间可大幅减少。

    Jun, 2019

  • 神经编码器是语音超分辨率的唯一需求

    本文提出了一种基于神经声码器的语音超分辨率方法 (NVSR)，该方法可以处理各种输入分辨率和上采样比例，其取得了优于当前最先进方法 WSRGlow 和 Nu-wave 的 8% 和 37% 的对数谱距离精度，并且具有显著更好的感知质量。

    Mar, 2022

  • 神经参数化唱歌合成器

    利用基于 WaveNet 架构的新型合成模型，对参数声码器产生的特征进行建模，并使用混合密度输出，实现对每个帧的预测，避免了过度拟合，在预测错误的情况下进行自回归生成算法的正则化，成功将和声、非周期性和有声 / 无声组件预测在一起，比现有的参数化统计方法和拼接方法更为有效。

    Apr, 2017

  • 实现鲁棒通用神经语音编码

    本文探讨了神经声码器的潜在普适性，通过训练 74 个具有 17 种语言的说话者的 WaveRNN-based 声码器，无论是在训练中观察到的还是从实验室质量的录音条件下的域外场景，都能够生成质量始终良好（相对平均 MUSHRA 为 98%）的语音，即使在质量发生显着变化时，或者朝着非语音发音或歌唱的方向移动时，该声码器仍然显着优于说话者相关的声码器，但是平均相对 MUSHRA 低至 75％，并且这些结果在不同语言间具有一致性。

    Nov, 2018

  • 高质量语音合成的超轻量级神经差分 DSP 语音编解码器

    提出了一种超轻量级的差分 DSP (DDSP) vocoder，该 vocoder 使用了一个经过联合优化的声学模型和 DSP vocoder，学习过程中不需要提取声道的光谱特征，实现了与神经 vocoder 相当的音频质量，同时作为一个 DSP vocoder 非常高效。在 2GHz 的 Intel Xeon CPU 上单线程运行时，无需任何硬件特定优化，C++ 实现的 FLOPS 达到 15 MFLOPS，相对于 MB-MelGAN 的 FLOPS，高出 340 倍，仅需 0.003 的 vocoder-only RTF 和 0.044 的总 RTF。

    Jan, 2024

  • 歌声的频谱绘制：U-Net 辅助的人声分割

    该研究通过使用短时傅里叶变换（STFT）和 UNet 神经网络，实现了从音乐频谱图中准确分离人声元素，取得了令人瞩目的音频源分离结果。

    May, 2024

  • 基于 Wave-U-Net 的语音增强改进

    研究了 Wave-U-Net 结构在语音增强中的应用，发现其在时域直接建模可以考虑大的时间上下文信息的特点下，可以在 Voice Bank corpus（VCTK）数据集上的语音增强任务中提高 PESQ、CSIG、CBAK、COVL 和 SSNR 多个指标，相比于其原始的音乐中唱声分离系统而言，基于少量隐藏层的结构更适合语音增强，该结果为进一步探索语音增强在时域中的应用提供了鼓舞人心的信号，并可以作为语音识别系统的预处理步骤。

    Nov, 2018