Jul, 2023

噪声感知语音增强处理技术 —— 基于扩散概率模型

PDF
TL;DR本文提出了一种噪声感知语音增强方法，通过噪声分类模型提取噪声特定信息来指导扩散模型中的逆向去噪过程，并采用多任务学习模式来优化增强和分类任务，实验表明该方法在 VoiceBank-DEAMND 数据集上的性能显著优于多种扩散型语音增强方法，尤其是在未知噪声上表现出较好的泛化性能。
speech enhancementdiffusion modelnoise-awaremulti-task learningacoustic embedding
发现论文，激发创造
  • 基于扩散的语音增强与带权的生成 - 监督学习损失

    通过引入均方误差损失（MSE）来改善扩散训练目标，度量在逆向过程迭代中预测的增强语音与真实干净语音之间的差异，提出了一种增强语音的方法，实验证明其有效性。

    Sep, 2023

  • 因果推断为基础的神经语音增强中的推断和去噪

    该论文提出了一种基于因果推断范式的语音增强方法，使用噪声检测器将噪声存在建模为干预因素，通过两个基于掩蔽的增强模块进行噪声条件下的分离，建立了特定的平均处理效应来量化因果效应，并在实验证明了该方法的高效性和优越性。

    Nov, 2022

  • 利用领域对抗训练的噪声自适应语音增强

    该研究提出了一种新颖的噪声自适应语音增强系统，该系统采用领域对抗训练方法解决训练和测试条件之间的噪声类型不匹配问题。实验结果表明，相较于没有自适应的 SE 系统，该系统在 PESQ、SSNR 和 STOI 方面可实现显著改善。

    Jul, 2018

  • 基于扩散的语音增强：联合生成和预测解码器

    本文提出一种整合预测语音增强和扩散语音增强的统一系统，通过编码两者信息，并应用生成和预测解码器，最终将两种方法的输出融合，实现语音增强。实验证明，该方法可加快解码速度并提高性能。

    May, 2023

  • 基于扩散型生成模型的无监督语音增强

    最近，条件评分驱动扩散模型在监督式语音增强领域引起了显著关注，取得了最先进的性能。然而，这些方法在泛化到未见条件时可能面临挑战。为了解决这个问题，我们引入了一种在无监督方式下操作、利用扩散模型的生成能力的替代方法。具体而言，训练阶段，在短时傅里叶变换（STFT）领域中使用评分驱动扩散模型学习了干净语音的先验分布，使其能够从高斯噪声中无条件地生成干净语音。然后，我们开发了一种通过将学习的干净语音先验与噪声模型结合起来进行语音增强的后验采样方法。噪声参数通过迭代的期望最大化（EM）方法与干净语音估计同时学习。据我们所知，这是第一个探索基于扩散的生成模型用于无监督语音增强的工作，与最近的变分自编码器（VAE）无监督方法和最先进的基于扩散的监督方法相比，取得了有希望的结果。因此，它为未来的无监督语音增强研究开辟了新的方向。

    Sep, 2023

  • 研究语音增强扩散模型的设计空间

    扩展图像生成文献中的扩散模型框架以适应语音增强任务，通过探究扩散模型的设计方面，如神经网络预处理、训练损失权重、随机微分方程和反向过程中注入的随机性量，证明了先前的扩散模型语音增强系统的性能并非归因于干净和嘈杂信号之间的渐进转化，并表明适当的预处理、训练损失权重、随机微分方程和采样器选择可以在感知度度量方面优于流行的扩散模型语音增强系统，并减少约四分之一的计算成本。

    Dec, 2023

  • 扩散条件期望模型用于高效稳健的目标语音提取

    我们提出了一种名为 Diffusion Conditional Expectation Model（DCEM）的高效生成方法，用于目标语音提取（TSE），它可以处理多个和单个说话者的情况，包括噪声和干净条件，并且我们还引入了 Regenerate-DCEM（R-DCEM），可以根据经过预处理的来自判别模型的语音重建和优化语音质量，我们的方法在入侵和非入侵度量方面优于传统方法，并且在推断效率和对未知任务的鲁棒性方面显示出显著优势。

    Sep, 2023

  • 用于生成性语音增强的单步和少步扩散

    通过两阶段训练方法，我们解决了扩散模型在语音增强中的潜在问题，实现了与基准模型相当的性能，缩短了推理过程时间，并显著优于扩散基线模型。

    Sep, 2023

  • 基于扩散概率模型的语音增强度量化方法

    研究提出了一种基于度量导向的语音增强方法 (MOSE)，通过创新的 actor-critic 框架，将评估度量视为后验奖励，以指导反向过程到度量增加方向，从而提高了性能。

    Feb, 2023

  • uSee: 条件扩散模型下的统一语音增强与编辑

    我们提出了一种统一的语音增强和编辑模型（uSee），它采用条件扩散模型以生成方式同时处理多种任务，能根据特定用户需求对语音进行增强和编辑操作。通过提供多种条件，包括自监督学习嵌入和适当的文本提示，我们的 uSee 模型可实现对源语音的可控生成，以进行相应操作。我们的实验显示，与其他相关生成式语音增强模型相比，我们提出的 uSee 模型在消除噪音和减轻混响方面具有出色的性能，并可根据所需的环境声音文本描述、信噪比和房间冲激响应进行语音编辑。可在此 https 网址查看生成语音的示例。

    Oct, 2023