使用全卷积网络进行语音去混响

Mar, 2018

Speech Dereverberation Using Fully Convolutional Networks

Ori Ernst, Shlomo E. Chazan, Sharon Gannot, Jacob Goldberger

TL;DR本文利用全卷积网络 (FCN) 来处理语音信号的混响问题，提出了用 U-Net 和 GAN 算法来处理时频短时傅里叶变换 (STFT) 表示的语音信号。通过与其他算法的比较，结果表明本文提出的方法在大多数情况下表现更好。

Abstract

Speech derverberation using a single microphone is addressed in this paper. Motivated by the recent success of the fully convolutional networks (FCN) in many image processing applications, we investigate their applicability to enhance the speech signal represented by short-time Fourier

speech denoising fully convolutional networks short-time fourier transform (stft)u-net generative adversarial network (gan)

发现论文，激发创造

基于生成对抗网络的语音去混响方法研究，用于增强语音识别鲁棒性

本文探讨了生成式对抗网络在语音去混响中的应用及其提高语音识别性能的优势，通过实验发现将 LSTM 与深度残差网络相结合可达到 16% 的语音识别误差率相对下降。

Mar, 2018

全卷积语音识别

本文提出了一种基于卷积神经网络的语音识别方法，相对于传统的基于循环神经网络的模型使用更少的特征提取步骤，并在多项测试中取得了当下最佳的表现。

Dec, 2018

FastFit: 通过多个 STFT 代替 U-Net 编码器，实现实时迭代神经声码器

本文介绍了一种新的神经声码器架构 FastFit, 其使用多个短时傅里叶变换 (STFT) 来替换 U-Net 编码器，从而实现更快的生成速度，而不会牺牲样品质量。通过客观和主观的评估，我们证明了该模型提高了将近两倍的基准迭代声码器的生成速度，同时保持高音质。进一步表明，在多说话人和零 - shot 文本到语音等评估场景中，FastFit 产生了与其他基线模型类似的音质。

May, 2023

基于可变形时间卷积神经网络的单声道嘈杂混响语音分离

本研究提出了一种新的方法，使用可变形卷积解决了语音分离领域中存在固定跨度的问题，通过应用此方法，研究人员获得了优秀的性能。

Oct, 2022

基于 Wave-U-Net 的语音增强改进

研究了 Wave-U-Net 结构在语音增强中的应用，发现其在时域直接建模可以考虑大的时间上下文信息的特点下，可以在 Voice Bank corpus（VCTK）数据集上的语音增强任务中提高 PESQ、CSIG、CBAK、COVL 和 SSNR 多个指标，相比于其原始的音乐中唱声分离系统而言，基于少量隐藏层的结构更适合语音增强，该结果为进一步探索语音增强在时域中的应用提供了鼓舞人心的信号，并可以作为语音识别系统的预处理步骤。

Nov, 2018

用于鲁棒性语音识别的非常深的卷积神经网络

本文阐述了使用非常深的卷积神经网络对嘈杂语音进行有效识别的优化策略，并且结合辅助特征共同使用能够进一步提高准确率。在 Aurora 4 任务中，该算法的词错误率达到了 7.09％。

Oct, 2016

利用多头卷积神经网络实现快速谱图反演

本研究提出了一种使用多头卷积神经网络（MCNN）架构从频谱生成波形的方法，而不需要迭代算法，能显著提高计算效率。对 MCNN 进行了大规模数据集的训练，并且损失函数的定义关注于声学感知质量。证明了 MCNN 是一种非常有前途的高质量语音合成方法。

Aug, 2018

iSTFTNet2：基于 1D-2D CNN 的更快速、更轻量化 iSTFT 基础神经声码器

iSTFTNet2 是 iSTFTNet 的改进版本，使用 1D 和 2D CNN 分别模拟时间和谱图结构，提高了模拟高维谱图的能力，并且保持了速度和语音质量。

Aug, 2023

全卷积神经网络进行端到端的语音波形增强，以优化直接评估指标

本研究提出一种基于完全卷积神经网络 (FCN) 的语音增强框架，通过对话语的优化来实现时域相关性信息的全面考虑，以降低模型优化和评价指标之间的差距。该框架进一步将 STOI 度量引入模型优化中，因此人类主体和自动语音识别系统对增强的语音的可懂度得到显著提高，而这一指标优于传统的 MMSE 优化方案。

Sep, 2017

基于频域自回归建模的语音增强

通过自回归（AR）模型在子带语音信号的频域中分离包络和载波部分，提出了一种改善语音质量和 ASR 性能的语音去混响统一框架，设计了基于双路径长短期记忆（DPLSTM）模型的神经网络结构，实现改善了子带包络和载波组件，进一步通过联合学习网络权重来优化 ASR 性能，该方法在 REVERB 挑战数据集和 VOiCES 数据集上相较基线系统以及其他去混响基准方法显示出显著的性能改善（基线系统上相对提升率为 10-24%），主观听测试进一步突显了音频还原质量的提升。

Sep, 2023