Dec, 2023

基于极低复杂度深度学习的噪声抑制

PDF
TL;DR一种创新的方法用于在资源受限设备上实时语音增强的深度神经网络计算复杂度的减少，该方法利用两阶段处理框架，采用通道特征重定向来降低卷积运算的计算负荷，并结合改进的功率定律压缩技术以实现与最先进方法相当的噪声抑制性能，但具有显著较少的计算要求。值得注意的是，我们的算法的计算复杂度和内存使用比之前最先进的方法要少 3 到 4 倍。
computational complexitydeep neural networksreal-time speech enhancementresource-constrained devicesnoise suppression
发现论文，激发创造
  • 实时全频段语音增强的混合 DSP / 深度学习方法

    本研究提出了一种基于深度学习和数字信号处理混合的方法来实现噪声抑制，该方法使用了四层隐含层的深度神经网络来估计关键频带增益，并采用传统的基音滤波器抑制谐波之间的噪声，相比于传统的最小均方误差谱估计，该方法获得了显著更高的质量，在复杂度低到足以实现 48kHz 实时处理的低功耗处理器上。

    Sep, 2017

  • 面向实时深度噪声抑制的高效模型

    本文研究深度学习模型在语音增强方面的应用，并探讨了网络复杂度与可达到的语音质量之间的关系，考虑了网络在回声环境下的训练。研究表明，网络的复杂度是影响语音质量的一个重要因素。

    Jan, 2021

  • CheapNET: 通过投影损失函数改进轻量级语音增强网络

    噪声抑制和回声消除对于语音增强至关重要，是智能设备和实时通信的基础，而这些算法必须保证高效实时推断和低计算需求。我们提出了一种新的投影损失函数，用于增强噪声抑制效果，并且能够直接在 LAEC 预处理输出上进行回声消除的预测，从而显著提高模型性能。我们的噪声抑制模型仅使用 3.1M 个参数和 0.4GFlops/s 计算负载，实现了接近最先进的结果。此外，我们的回声消除模型胜过了复制的行业领先模型，引入了语音增强的新视角。

    Nov, 2023

  • 强化学习自适应语音增强至瞬时输入信号质量

    本文通过强化学习控制噪声抑制算法参数，从而提升算法的鲁棒性和整体性能，实验结果显示相较于无适应性的算法有着显著的 42% 和 16% 的输出 SNR 和 MSE 改进。

    Nov, 2017

  • 使用深度神经网络在多噪声情况下进行语音增强

    通过深度神经网络，在复杂的真实环境中去除多种噪声，提高办公室环境中含噪语音的质量，并研究基于语音编码的心理声学模型的 DNN 训练策略。

    May, 2016

  • 一种感知动机的方法用于低复杂度、实时完整语音的增强

    本文提出了一种称之为 PercepNet 的用于语音增强的深度学习方法，该方法仅需要短时间的傅里叶变换，通过聚焦于语音的谱包络和周期性，可以实现高质量、实时的全频带语音增强，仅需要不到 5% 的 CPU 核心。

    Aug, 2020

  • 面向鲁棒语音识别的语音增强和噪音感知网络

    提出了一个基于噪声感知的训练框架，将增强语音引入到声学模型的多条件训练中，通过两个级联的神经结构来优化增强语音和语音识别，并取得了较好的实验结果。

    Mar, 2022

  • TinyLSTMs: 用于助听器的高效神经语音增强

    通过使用模型压缩技术，我们成功地压缩了大规模循环神经网络，以满足计算资源受限的助听器上的使用需求。结果表明，在保持高质量音频输出的前提下，压缩模型的尺寸和操作数量分别减小了 11.9 倍和 2.9 倍，计算延迟为 2.39 毫秒。

    May, 2020

  • 使用深度特征损失进行语音去噪

    本研究提出了一种针对语音信号去噪的端到端深度学习方法，采用完全卷积网络训练上下文聚合并使用深度特征损失函数。通过测试表明，相较于传统回归损失函数，该方法在去除最具挑战性噪音方面效果更加显著，具有较高的客观语音质量指标和人类感知实验结果。

    Jun, 2018

  • 基于深度学习的语音增强去噪过程连续建模

    本文研究了基于深度学习的语音增强中的连续建模方法，重点关注降噪过程。通过引入一个状态变量来表示降噪过程，训练中使用类似 UNet 结构的神经网络学习估计连续降噪过程中的每个状态变量，测试时引入一个控制因子作为嵌入，可调整噪声削减水平。该方法可以实现可控语音增强，并适用于不同的应用场景。实验结果显示，在清晰目标中保留少量噪声有助于语音增强，从客观语音指标和自动语音识别性能的改善来验证。

    Sep, 2023