May, 2023

DeepFilterNet：感知驱动的实时语音增强

PDF
TL;DR本文介绍了使用 DeepFilterNet 进行实时语音增强的演示。通过利用言语生产和心理声学感知的领域知识，该模型能够匹配最先进的语音增强基准，并在单线程笔记本 CPU 上实现了实时化因子 0.19。该框架及预训练权重已在开源协议下发布。
multi-frame algorithmssingle-channel speech enhancementdeepfilternetreal-time factoropen source
发现论文，激发创造
  • 一种感知动机的方法用于低复杂度、实时完整语音的增强

    本文提出了一种称之为 PercepNet 的用于语音增强的深度学习方法，该方法仅需要短时间的傅里叶变换，通过聚焦于语音的谱包络和周期性，可以实现高质量、实时的全频带语音增强，仅需要不到 5% 的 CPU 核心。

    Aug, 2020

  • 实时全频段语音增强的混合 DSP / 深度学习方法

    本研究提出了一种基于深度学习和数字信号处理混合的方法来实现噪声抑制，该方法使用了四层隐含层的深度神经网络来估计关键频带增益，并采用传统的基音滤波器抑制谐波之间的噪声，相比于传统的最小均方误差谱估计，该方法获得了显著更高的质量，在复杂度低到足以实现 48kHz 实时处理的低功耗处理器上。

    Sep, 2017

  • 深层滤波器的音乐增强技术: ICASSP 2024 Cadenza Challenge 技术报告

    通过将深度滤波器从原始 DeepfilterNet 中解脱出来，并将它们融入我们基于 Spec-UNet 的网络中，进一步改进了混音管道。在比较 hdemucs 与我们模型的不同版本的性能时，我们展示了在 Signal-to-Distortion Ratio（SDR）和 Hearing Aid Audio Quality Index（HAAQI）度量中的逐步改进。

    Apr, 2024

  • 基于极低复杂度深度学习的噪声抑制

    一种创新的方法用于在资源受限设备上实时语音增强的深度神经网络计算复杂度的减少，该方法利用两阶段处理框架，采用通道特征重定向来降低卷积运算的计算负荷，并结合改进的功率定律压缩技术以实现与最先进方法相当的噪声抑制性能，但具有显著较少的计算要求。值得注意的是，我们的算法的计算复杂度和内存使用比之前最先进的方法要少 3 到 4 倍。

    Dec, 2023

  • 动态全局滤波器双流时间延迟神经网络在说话人验证中的应用

    本文提出 Global Filter for TDNN 和 Dual-Stream TDNN 模型，可在语音辨识方面取得显著的效果，同时减少了参数和复杂性。

    Mar, 2023

  • 面向实时深度噪声抑制的高效模型

    本文研究深度学习模型在语音增强方面的应用，并探讨了网络复杂度与可达到的语音质量之间的关系，考虑了网络在回声环境下的训练。研究表明，网络的复杂度是影响语音质量的一个重要因素。

    Jan, 2021

  • 利用空间选择性深度非线性滤波器的多通道语音分离

    本文中我们提出了基于深度神经网络和循环神经网络的空间选择性滤波器 (SSF)，在多扬声器多声道分离任务中，可以从混合信号中提取出特定说话者的声音信息，并与直接分离方法进行了比较。结果表明，SSF 具有更好的空间信息利用和泛化能力。

    Apr, 2023

  • 利用小型模型的多维深层结构状态空间方法进行语音增强

    本文提出了一种多维结构化状态空间（S4）方法来增强语音，将多维的 S4 层进行白化变换以更好地捕捉跨频率轴的频谱依赖性，探索了几种基于 S4 的 T 和 TF 深层结构，其中，在 TF 领域中，与基于卷积层的传统 U 型模型相比，所提出的 S4 模型尺寸缩小了 78.6％，但在数据增强的情况下仍然达到了竞争性结果，具有较好的 PESQ 分数。

    Jun, 2023

  • 面向鲁棒语音识别的语音增强和噪音感知网络

    提出了一个基于噪声感知的训练框架，将增强语音引入到声学模型的多条件训练中，通过两个级联的神经结构来优化增强语音和语音识别，并取得了较好的实验结果。

    Mar, 2022

  • 利用低频细微特征改进 DeepFake 检测

    本研究针对声音 DeepFake 威胁，研究使用最新的 Whisper 语音识别模型作为前端来增强声音真实性检测，实验证明使用 Whisper 模型可提高声音 DeepFake 检测的准确性。

    Jun, 2023