Nov, 2023

CheapNET: 通过投影损失函数改进轻量级语音增强网络

PDF
TL;DR噪声抑制和回声消除对于语音增强至关重要，是智能设备和实时通信的基础，而这些算法必须保证高效实时推断和低计算需求。我们提出了一种新的投影损失函数，用于增强噪声抑制效果，并且能够直接在 LAEC 预处理输出上进行回声消除的预测，从而显著提高模型性能。我们的噪声抑制模型仅使用 3.1M 个参数和 0.4GFlops/s 计算负载，实现了接近最先进的结果。此外，我们的回声消除模型胜过了复制的行业领先模型，引入了语音增强的新视角。
发现论文，激发创造
  • 基于极低复杂度深度学习的噪声抑制

    一种创新的方法用于在资源受限设备上实时语音增强的深度神经网络计算复杂度的减少，该方法利用两阶段处理框架，采用通道特征重定向来降低卷积运算的计算负荷，并结合改进的功率定律压缩技术以实现与最先进方法相当的噪声抑制性能，但具有显著较少的计算要求。值得注意的是，我们的算法的计算复杂度和内存使用比之前最先进的方法要少 3 到 4 倍。

    Dec, 2023

  • 具有自适应语音质量意识的复杂神经网络在有监督对比学习下的声学回声消除

    本文提出一个基于复杂神经网络的自适应语音质量模型，其中采用了特征提取、声学分离和掩码优化等不同阶段的复杂模块化神经网络，采用对比学习框架和新颖的语音质量感知损失函数来进一步提高性能，该模型在 72 小时的预训练和 72 小时的微调中训练，表现优于最先进的性能。

    Oct, 2022

  • 实时全频段语音增强的混合 DSP / 深度学习方法

    本研究提出了一种基于深度学习和数字信号处理混合的方法来实现噪声抑制，该方法使用了四层隐含层的深度神经网络来估计关键频带增益，并采用传统的基音滤波器抑制谐波之间的噪声，相比于传统的最小均方误差谱估计，该方法获得了显著更高的质量，在复杂度低到足以实现 48kHz 实时处理的低功耗处理器上。

    Sep, 2017

  • 使用已学习的损失函数进行学习：利用 Quality-Net 进行语音增强以提高语音质量的感知评估

    通过一个可微的近似 PESQ 函数训练语音增强模型，可以提高 PESQ 得分（相对于用 MSE loss 训练的结果增加了 0.18 分），同时保持语音可懂性。

    May, 2019

  • 面向实时深度噪声抑制的高效模型

    本文研究深度学习模型在语音增强方面的应用，并探讨了网络复杂度与可达到的语音质量之间的关系，考虑了网络在回声环境下的训练。研究表明，网络的复杂度是影响语音质量的一个重要因素。

    Jan, 2021

  • 探索基于时域卷积网络的 DNN 语音增强的最佳损失函数

    本文比较了基于短时傅里叶变换和时间域音频分离网络的两种不同的语音增强算法在不同数据集上的效果，提出了利用问题无关语音编码器特征的基于 STFT 的语音增强算法，通过在 Voice Bank+DEMAND 数据集上的实验验证，证明了该方法的有效性并在 DNS Challenge 数据集上表现出色，同时也开源了低延迟版本的 TasNet 算法。

    May, 2020

  • 面向鲁棒语音识别的语音增强和噪音感知网络

    提出了一个基于噪声感知的训练框架，将增强语音引入到声学模型的多条件训练中，通过两个级联的神经结构来优化增强语音和语音识别，并取得了较好的实验结果。

    Mar, 2022

  • 一种无需掩码的神经网络用于单声道语音增强

    提出了一种新的简单直接的网络架构 MFNet 用于语音增强，它的映射方法优于掩模方法，可用于强噪声环境下的优化解决，并在 2020 年 DNS 挑战测试无混响水平上表现为最先进的映射模型。

    Jun, 2023

  • DeepVQE: 实时深度语音质量增强，用于联合声学回声消除、噪音抑制和除混响

    本文提出了一个名为 DeepVQE 的基于深度学习模型的实时交叉关注方法来同时解决声学回声消除，噪声抑制和混响消除等多种语音处理问题，并在 2023 年 ICASSP 的测试集上取得了最佳性能表现。

    Jun, 2023

  • 具有移动音频流网络的高效低延迟语音增强

    提出了适用于移动设备和计算能力受限应用的移动音频流网络 (MASnet)，用于有效的低延迟语音增强。MASnet 将连续的嘈杂帧转换为复值比率掩码，然后将其应用于相应的嘈杂帧。与类似的全卷积架构相比，MASnet 采用了深度和点卷积，大大减少了每秒融合乘累加运算次数 (FMA/s)，但牺牲了一些信噪比。

    Aug, 2020