Oct, 2020

实时语音频带扩展

PDF
TL;DR本文提出了一种轻量级模型，可以将采样频率从 8kHz 提高到 16kHz，并使用 SEANet 模型结构和特征损失和对抗损失的组合方法，将高频内容恢复到与 16kHz 接近的水平，并且该模型在流模式下具有较低的延迟，可在双向语音通信系统中实现。
frequency bandwidthspeech signalsseanetstreaming modemobile cpu
发现论文，激发创造
  • 波形域中的实时语音增强

    本研究提出了一种基于编码器 - 解码器结构、包含跳跃连接、优化时间和频域的多损失函数的实时语音增强模型，可直接处理原始波形并消除各种背景噪音及实现房间回声，进行了多项标准测试，且通过数据扩增进一步完善模型性能及泛化能力，达到了最先进的性能。

    Jun, 2020

  • 具有感知驱动优化和双重转换的语音增强

    本文提出了一种基于子带的语音增强系统，名为 PT-FSE，该系统通过对子带频谱图的操作来增强语音，其中包括全频带和子频带的融合模型、频率变换模块、时间变换和人类听觉感知的损失函数，实验结果表明，该系统达到了显著的改进，并且在基准数据集上优于当前最先进的技术。

    Sep, 2022

  • 一种感知动机的方法用于低复杂度、实时完整语音的增强

    本文提出了一种称之为 PercepNet 的用于语音增强的深度学习方法，该方法仅需要短时间的傅里叶变换，通过聚焦于语音的谱包络和周期性，可以实现高质量、实时的全频带语音增强，仅需要不到 5% 的 CPU 核心。

    Aug, 2020

  • 低延迟语音增强模型的权衡探究

    本文探讨了一种基于神经网络、以谱掩蔽为基础的单声道和双声道语音增强方法，最佳模型在 CHiME2 语音增强任务中的性能比先前的最先进性能提高了 0.4 分贝的信号失真比，并发现没有前瞻的模型在计算性能和参数数量与增强性能之间存在着权衡，可以在平均 0.03 dB SDR 内达到最佳双向模型的等效性能，此外，发现 200 毫秒的前瞻足以实现与最佳双向模型的等效性能。

    Nov, 2018

  • 实时全频段语音增强的混合 DSP / 深度学习方法

    本研究提出了一种基于深度学习和数字信号处理混合的方法来实现噪声抑制，该方法使用了四层隐含层的深度神经网络来估计关键频带增益，并采用传统的基音滤波器抑制谐波之间的噪声，相比于传统的最小均方误差谱估计，该方法获得了显著更高的质量，在复杂度低到足以实现 48kHz 实时处理的低功耗处理器上。

    Sep, 2017

  • 利用小型模型的多维深层结构状态空间方法进行语音增强

    本文提出了一种多维结构化状态空间（S4）方法来增强语音，将多维的 S4 层进行白化变换以更好地捕捉跨频率轴的频谱依赖性，探索了几种基于 S4 的 T 和 TF 深层结构，其中，在 TF 领域中，与基于卷积层的传统 U 型模型相比，所提出的 S4 模型尺寸缩小了 78.6％，但在数据增强的情况下仍然达到了竞争性结果，具有较好的 PESQ 分数。

    Jun, 2023

  • 实时小波算法优化提高语音可懂度

    使用离散小波变换分频，不同的增益被应用到分频信号中以提高语音可懂度，可用于实时语音处理和比之前算法要简单得多

    Feb, 2022

  • MBTFNet：多频段时间频率神经网络用于歌声增强

    我们提出了一种新颖的多频带时间频率神经网络（MBTFNet），用于歌声增强，可以从歌曲录音中去除背景音乐、噪音甚至伴唱，实验证明我们的模型在增强效果上显著优于几种最先进的声音增强和音乐源分离模型。

    Oct, 2023

  • 具有移动音频流网络的高效低延迟语音增强

    提出了适用于移动设备和计算能力受限应用的移动音频流网络 (MASnet)，用于有效的低延迟语音增强。MASnet 将连续的嘈杂帧转换为复值比率掩码，然后将其应用于相应的嘈杂帧。与类似的全卷积架构相比，MASnet 采用了深度和点卷积，大大减少了每秒融合乘累加运算次数 (FMA/s)，但牺牲了一些信噪比。

    Aug, 2020

  • DeepFilterNet：感知驱动的实时语音增强

    本文介绍了使用 DeepFilterNet 进行实时语音增强的演示。通过利用言语生产和心理声学感知的领域知识，该模型能够匹配最先进的语音增强基准，并在单线程笔记本 CPU 上实现了实时化因子 0.19。该框架及预训练权重已在开源协议下发布。

    May, 2023