Aug, 2020

一种感知动机的方法用于低复杂度、实时完整语音的增强

PDF
TL;DR本文提出了一种称之为 PercepNet 的用于语音增强的深度学习方法，该方法仅需要短时间的傅里叶变换，通过聚焦于语音的谱包络和周期性，可以实现高质量、实时的全频带语音增强，仅需要不到 5% 的 CPU 核心。
speech enhancementdeep learningpercepnetspectral envelopereal-time
发现论文，激发创造
  • 具有感知驱动优化和双重转换的语音增强

    本文提出了一种基于子带的语音增强系统，名为 PT-FSE，该系统通过对子带频谱图的操作来增强语音，其中包括全频带和子频带的融合模型、频率变换模块、时间变换和人类听觉感知的损失函数，实验结果表明，该系统达到了显著的改进，并且在基准数据集上优于当前最先进的技术。

    Sep, 2022

  • DeepFilterNet：感知驱动的实时语音增强

    本文介绍了使用 DeepFilterNet 进行实时语音增强的演示。通过利用言语生产和心理声学感知的领域知识，该模型能够匹配最先进的语音增强基准，并在单线程笔记本 CPU 上实现了实时化因子 0.19。该框架及预训练权重已在开源协议下发布。

    May, 2023

  • 实时全频段语音增强的混合 DSP / 深度学习方法

    本研究提出了一种基于深度学习和数字信号处理混合的方法来实现噪声抑制，该方法使用了四层隐含层的深度神经网络来估计关键频带增益，并采用传统的基音滤波器抑制谐波之间的噪声，相比于传统的最小均方误差谱估计，该方法获得了显著更高的质量，在复杂度低到足以实现 48kHz 实时处理的低功耗处理器上。

    Sep, 2017

  • 探索基于时域卷积网络的 DNN 语音增强的最佳损失函数

    本文比较了基于短时傅里叶变换和时间域音频分离网络的两种不同的语音增强算法在不同数据集上的效果，提出了利用问题无关语音编码器特征的基于 STFT 的语音增强算法，通过在 Voice Bank+DEMAND 数据集上的实验验证，证明了该方法的有效性并在 DNS Challenge 数据集上表现出色，同时也开源了低延迟版本的 TasNet 算法。

    May, 2020

  • 基于极低复杂度深度学习的噪声抑制

    一种创新的方法用于在资源受限设备上实时语音增强的深度神经网络计算复杂度的减少，该方法利用两阶段处理框架，采用通道特征重定向来降低卷积运算的计算负荷，并结合改进的功率定律压缩技术以实现与最先进方法相当的噪声抑制性能，但具有显著较少的计算要求。值得注意的是，我们的算法的计算复杂度和内存使用比之前最先进的方法要少 3 到 4 倍。

    Dec, 2023

  • 利用小型模型的多维深层结构状态空间方法进行语音增强

    本文提出了一种多维结构化状态空间（S4）方法来增强语音，将多维的 S4 层进行白化变换以更好地捕捉跨频率轴的频谱依赖性，探索了几种基于 S4 的 T 和 TF 深层结构，其中，在 TF 领域中，与基于卷积层的传统 U 型模型相比，所提出的 S4 模型尺寸缩小了 78.6％，但在数据增强的情况下仍然达到了竞争性结果，具有较好的 PESQ 分数。

    Jun, 2023

  • 直接从波形中学习多尺度特征

    本文详细介绍了一种使用卷积滤波器的方法，可以通过减少步幅增加时间分辨率，通过增加滤波器增加频率分辨率以提高语音识别精度。我们同时在多个尺度上学习，从而发现更高效的表示方法，并且相对于基于光谱图的同样参数网络训练，内部语音测试集上的词语错误率下降了 20.7％。

    Mar, 2016

  • 波形域中的实时语音增强

    本研究提出了一种基于编码器 - 解码器结构、包含跳跃连接、优化时间和频域的多损失函数的实时语音增强模型，可直接处理原始波形并消除各种背景噪音及实现房间回声，进行了多项标准测试，且通过数据扩增进一步完善模型性能及泛化能力，达到了最先进的性能。

    Jun, 2020

  • 改进深度语音增强的可微一致性约束

    该研究论文探讨了如何通过为语音增强网络添加不同的可微投影层来同时实现短时傅里叶变换 (STFT) 和混合一致性，并进一步提高纵向尺度不变信号 - 失真比 (SI-SDR)。

    Nov, 2018

  • 实时语音频带扩展

    本文提出了一种轻量级模型，可以将采样频率从 8kHz 提高到 16kHz，并使用 SEANet 模型结构和特征损失和对抗损失的组合方法，将高频内容恢复到与 16kHz 接近的水平，并且该模型在流模式下具有较低的延迟，可在双向语音通信系统中实现。

    Oct, 2020