Sep, 2022

具有感知驱动优化和双重转换的语音增强

PDF
TL;DR本文提出了一种基于子带的语音增强系统，名为 PT-FSE，该系统通过对子带频谱图的操作来增强语音，其中包括全频带和子频带的融合模型、频率变换模块、时间变换和人类听觉感知的损失函数，实验结果表明，该系统达到了显著的改进，并且在基准数据集上优于当前最先进的技术。
speech enhancementtime-domainspectrogramssub-bandperceptually-motivated
发现论文，激发创造
  • 一种感知动机的方法用于低复杂度、实时完整语音的增强

    本文提出了一种称之为 PercepNet 的用于语音增强的深度学习方法，该方法仅需要短时间的傅里叶变换，通过聚焦于语音的谱包络和周期性，可以实现高质量、实时的全频带语音增强，仅需要不到 5% 的 CPU 核心。

    Aug, 2020

  • FullSubNet：一种全频带与子频带融合模型，用于实时单通道语音增强

    本文提出了一种全频带和子频带融合模型 FullSubNet，用于单通道实时语音增强，实验结果表明 FullSubNet 可以有效整合全频带和子频带信息，并在 DNS 挑战（INTERSPEECH 2020）中达到了最佳成绩。

    Oct, 2020

  • FullSubNet+：利用复数谱的通道注意力 FullSubNet 进行说话增强

    本文提出了一种扩展的单通道实时语音增强框架 FullSubNet+，采用了轻量级多尺度时间敏感通道注意力 MulCA 模块、全幅值、实部与虚部谱图作为输入以充分利用噪声语音中的相位信息、以及用时序卷积网络块（TCN）替换原先的长短期记忆层的全幅模型，其在 DNS 挑战数据集中表现优越，达到了最先进的性能并优于其他现有语音增强方法。

    Mar, 2022

  • MBTFNet：多频段时间频率神经网络用于歌声增强

    我们提出了一种新颖的多频带时间频率神经网络（MBTFNet），用于歌声增强，可以从歌曲录音中去除背景音乐、噪音甚至伴唱，实验证明我们的模型在增强效果上显著优于几种最先进的声音增强和音乐源分离模型。

    Oct, 2023

  • 全卷积神经网络进行端到端的语音波形增强，以优化直接评估指标

    本研究提出一种基于完全卷积神经网络 (FCN) 的语音增强框架，通过对话语的优化来实现时域相关性信息的全面考虑，以降低模型优化和评价指标之间的差距。该框架进一步将 STOI 度量引入模型优化中，因此人类主体和自动语音识别系统对增强的语音的可懂度得到显著提高，而这一指标优于传统的 MMSE 优化方案。

    Sep, 2017

  • 探索基于时域卷积网络的 DNN 语音增强的最佳损失函数

    本文比较了基于短时傅里叶变换和时间域音频分离网络的两种不同的语音增强算法在不同数据集上的效果，提出了利用问题无关语音编码器特征的基于 STFT 的语音增强算法，通过在 Voice Bank+DEMAND 数据集上的实验验证，证明了该方法的有效性并在 DNS Challenge 数据集上表现出色，同时也开源了低延迟版本的 TasNet 算法。

    May, 2020

  • 高效单声道语音增强的谱注意力融合

    在语音增强领域，我们提出了一种称为频谱注意力融合的方法，通过使用卷积模块替换自注意力层，提高了模型的计算效率，从而实现了与先进模型相媲美的结果，但参数规模更小（0.58M）的目标。

    Aug, 2023

  • 实时小波算法优化提高语音可懂度

    使用离散小波变换分频，不同的增益被应用到分频信号中以提高语音可懂度，可用于实时语音处理和比之前算法要简单得多

    Feb, 2022

  • 实时语音频带扩展

    本文提出了一种轻量级模型，可以将采样频率从 8kHz 提高到 16kHz，并使用 SEANet 模型结构和特征损失和对抗损失的组合方法，将高频内容恢复到与 16kHz 接近的水平，并且该模型在流模式下具有较低的延迟，可在双向语音通信系统中实现。

    Oct, 2020

  • PhasePerturbation: 语音数据增强通过相位扰动的自动语音识别

    本文提出了一种名为 PhasePerturbation 的新型语音数据增强方法，利用动态的语音相位谱操作，通过随机化、频率遮蔽和时间遮蔽来增加语音数据的多样性。在 wav2vec2.0 预训练的 ASR 模型上，通过将模型与经过 PhasePerturbation 增强的 TIMIT 语料进行微调，实验证明相比没有增强操作的基准模型，词错误率（WER）相对降低了 10.9％。此外，通过结合基于振幅谱的增强方法 Vocal Tract Length Perturbation（VTLP）和 SpecAug，所提出的方法在 WER 上进一步提升了 12.9％和 15.9％，凸显了 PhasePerturbation 改进当前基于振幅谱的增强方法的能力。

    Dec, 2023