Oct, 2020

FullSubNet：一种全频带与子频带融合模型，用于实时单通道语音增强

PDF
TL;DR本文提出了一种全频带和子频带融合模型 FullSubNet，用于单通道实时语音增强，实验结果表明 FullSubNet 可以有效整合全频带和子频带信息，并在 DNS 挑战（INTERSPEECH 2020）中达到了最佳成绩。
speech enhancementfull-subnet modelsub-band modelglobal spectral contextdns challenge
发现论文，激发创造
  • FullSubNet+：利用复数谱的通道注意力 FullSubNet 进行说话增强

    本文提出了一种扩展的单通道实时语音增强框架 FullSubNet+，采用了轻量级多尺度时间敏感通道注意力 MulCA 模块、全幅值、实部与虚部谱图作为输入以充分利用噪声语音中的相位信息、以及用时序卷积网络块（TCN）替换原先的长短期记忆层的全幅模型，其在 DNS 挑战数据集中表现优越，达到了最先进的性能并优于其他现有语音增强方法。

    Mar, 2022

  • 具有感知驱动优化和双重转换的语音增强

    本文提出了一种基于子带的语音增强系统，名为 PT-FSE，该系统通过对子带频谱图的操作来增强语音，其中包括全频带和子频带的融合模型、频率变换模块、时间变换和人类听觉感知的损失函数，实验结果表明，该系统达到了显著的改进，并且在基准数据集上优于当前最先进的技术。

    Sep, 2022

  • 小型语音术语分类的子带卷积神经网络

    本研究提出了一种适用于口语词语分类的子带卷积神经网络。通过在每个特征子带上应用不同的卷积核，该网络架构提高了计算效率，相对于基线的全带 CNN，在准确率保持的同时，命令分类计算减少了 39.7％，数字分类减少了 49.3％。

    Jul, 2019

  • McNet: 多通道语音增强中融合多种线索

    本文提出了一种名为 McNet 的多提示融合网络，该网络级联四个模块分别利用全频带空间、窄带空间、子带谱和全频带谱信息，通过实验证明该网络的每个模块都具有其独特的贡献，整体而言显著优于其他最先进的方法。

    Nov, 2022

  • 一种感知动机的方法用于低复杂度、实时完整语音的增强

    本文提出了一种称之为 PercepNet 的用于语音增强的深度学习方法，该方法仅需要短时间的傅里叶变换，通过聚焦于语音的谱包络和周期性，可以实现高质量、实时的全频带语音增强，仅需要不到 5% 的 CPU 核心。

    Aug, 2020

  • 实时全频段语音增强的混合 DSP / 深度学习方法

    本研究提出了一种基于深度学习和数字信号处理混合的方法来实现噪声抑制，该方法使用了四层隐含层的深度神经网络来估计关键频带增益，并采用传统的基音滤波器抑制谐波之间的噪声，相比于传统的最小均方误差谱估计，该方法获得了显著更高的质量，在复杂度低到足以实现 48kHz 实时处理的低功耗处理器上。

    Sep, 2017

  • MBTFNet：多频段时间频率神经网络用于歌声增强

    我们提出了一种新颖的多频带时间频率神经网络（MBTFNet），用于歌声增强，可以从歌曲录音中去除背景音乐、噪音甚至伴唱，实验证明我们的模型在增强效果上显著优于几种最先进的声音增强和音乐源分离模型。

    Oct, 2023

  • 实时语音频带扩展

    本文提出了一种轻量级模型，可以将采样频率从 8kHz 提高到 16kHz，并使用 SEANet 模型结构和特征损失和对抗损失的组合方法，将高频内容恢复到与 16kHz 接近的水平，并且该模型在流模式下具有较低的延迟，可在双向语音通信系统中实现。

    Oct, 2020

  • 基于深度学习的多波段信号融合用于三维 SAR 超分辨率

    提出一种深度学习方法 kR-Net，使用混合的双域复值卷积神经网络 (CV-CNN) 融合多频段信号，以实现对复杂目标的高分辨率成像，从而在安全筛查和工业成像领域中具有广阔应用前景。

    May, 2023

  • 通过自修剪学习双模式语音识别模型

    该研究旨在通过 Omni-sparsity supernet 方法联合训练一个紧凑稀疏的流式 ASR 模型和一个大型密集的非流式服务器模型，进而提高现有 ASR 模型的性能。

    Jul, 2022