Nov, 2017

使用生成对抗网络探索语音增强以实现鲁棒的语音识别

PDF
TL;DR本文研究生成对抗网络（Generative Adversarial Networks, GANs）在语音增强领域中的有效性，通过操作 GANs 在 log-Mel 滤波器组上而非波形上以增强受到加性和混响噪声污染的语音信号，并通过将 GAN 增强特征附加至含噪输入并再次训练而获得了相对于传统多风格训练（Multi-style Training, MTR）系统的 7％错误率改进。
发现论文，激发创造
  • 利用生成对抗网络进行鲁棒语音识别

    本文提出了一种利用生成对抗网络（GAN）优化端到端框架，实现鲁棒语音识别的方法，该方法能够使编码器具有改进的不变性，而不需要依赖于专业知识或简化假设，并通过数据驱动的方式，直接提高模型的鲁棒性，从而提高了模型的远场语音识别能力。

    Nov, 2017

  • SEGAN: 语音增强生成对抗网络

    本研究提出使用生成对抗网络进行语音增强，通过训练模型使其在波形级别对 28 个说话人和 40 种不同噪声条件进行增强，目的是解决当前技术只能处理少量特定噪声条件和依赖于一阶统计量的问题，实验证明该模型的可行性和有效性，未来可以进一步探索生成性结构用于提高语音增强的性能。

    Mar, 2017

  • 基于生成对抗网络的语音去混响方法研究，用于增强语音识别鲁棒性

    本文探讨了生成式对抗网络在语音去混响中的应用及其提高语音识别性能的优势，通过实验发现将 LSTM 与深度残差网络相结合可达到 16% 的语音识别误差率相对下降。

    Mar, 2018

  • 用于语音增强和抗噪声说话人验证的条件生成对抗网络

    利用条件生成对抗网络（cGANs）从噪声语音的谱图到增强副本，将其应用于语音增强（SE）中，并以感知语音质量（PESQ）、短时客观可懂度（STOI）和说话人验证等方面进行评估。实验结果显示，cGAN 方法整体上优于传统的 STSA-MMSE SE 算法，并且与基于深度神经网络的 SE 方法 (DNN-SE) 相当。

    Sep, 2017

  • 融合生成对抗网络的统计参数语音合成

    本文介绍了一种使用生成对抗网络（GAN）的统计参数语音合成方法，相比于传统的最小生成误差训练算法，该方法能够更自然地生成语音波形，并有效缓解了生成语音参数的平滑问题。我们还研究了不同 GAN 之间的差异，并发现最小化 Earth-Mover 距离的 Wasserstein GAN 可以最大程度地提高合成语音的质量。

    Sep, 2017

  • 使用引导生成对抗网络在不匹配环境中高效转换声学特征

    提出一个新的框架，可以通过运行生成式对抗网络（GAN）生成更好的音频特征，从而提高自动语音识别（ASR）系统的性能，此框架在资源稀缺的环境中非常有用。

    Oct, 2022

  • 用对抗网络实现高保真度语音合成

    使用条件前馈生成器和多个鉴别器组成的架构，GAN-TTS 能够生成自然度与当前最先进的模型相当，而且可以高度并行化。同时，研究者还使用了主观人类评估及新型量化指标来评估 GAN-TTS 的性能。

    Sep, 2019

  • 通过扩散 GAN 提升无监督语音识别

    使用扩散 - GAN 提高无监督自动语音识别的敌对训练方法。将各种强度的实例噪声注入生成器的输出和来自预训练音素语言模型的未标记参考文本，使用时间步骤相关的判别器将它们分开，并将梯度反向传播更新生成器，实验表明该增强策略能有效地提高语音识别词错误率。

    Mar, 2023

  • MelGAN: 生成对抗网络用于条件波形合成

    该研究提供了一种新的、用于生成高质量音频的 GAN 结构以及相关训练技巧，并证明了其在语音合成、音乐领域翻译和音乐合成中的有效性。

    Oct, 2019

  • 面向私有语音生成的对抗表示学习

    通过生成式对抗网络（GANs）的模型设计，训练一个 U 型卷积神经网络，用于隐藏声音数据中的敏感个人信息，例如性别等。

    Jun, 2020