Sep, 2023

基于扩散的语音增强与带权的生成 - 监督学习损失

PDF
TL;DR通过引入均方误差损失（MSE）来改善扩散训练目标，度量在逆向过程迭代中预测的增强语音与真实干净语音之间的差异，提出了一种增强语音的方法，实验证明其有效性。
diffusion-based generative modelsspeech enhancementsupervised methodsunsupervised lossmean squared error loss
发现论文，激发创造
  • 基于扩散型生成模型的无监督语音增强

    最近，条件评分驱动扩散模型在监督式语音增强领域引起了显著关注，取得了最先进的性能。然而，这些方法在泛化到未见条件时可能面临挑战。为了解决这个问题，我们引入了一种在无监督方式下操作、利用扩散模型的生成能力的替代方法。具体而言，训练阶段，在短时傅里叶变换（STFT）领域中使用评分驱动扩散模型学习了干净语音的先验分布，使其能够从高斯噪声中无条件地生成干净语音。然后，我们开发了一种通过将学习的干净语音先验与噪声模型结合起来进行语音增强的后验采样方法。噪声参数通过迭代的期望最大化（EM）方法与干净语音估计同时学习。据我们所知，这是第一个探索基于扩散的生成模型用于无监督语音增强的工作，与最近的变分自编码器（VAE）无监督方法和最先进的基于扩散的监督方法相比，取得了有希望的结果。因此，它为未来的无监督语音增强研究开辟了新的方向。

    Sep, 2023

  • 基于扩散的语音增强的方差分析

    扩散模型在生成式语音增强中被证明是强大的模型。本文强调方差的规模是语音增强性能的主要参数，并显示它控制了噪声衰减和语音失真之间的权衡，更具体地说，较大的方差增加了噪声衰减并允许减少计算量。

    Feb, 2024

  • 研究语音增强扩散模型的设计空间

    扩展图像生成文献中的扩散模型框架以适应语音增强任务，通过探究扩散模型的设计方面，如神经网络预处理、训练损失权重、随机微分方程和反向过程中注入的随机性量，证明了先前的扩散模型语音增强系统的性能并非归因于干净和嘈杂信号之间的渐进转化，并表明适当的预处理、训练损失权重、随机微分方程和采样器选择可以在感知度度量方面优于流行的扩散模型语音增强系统，并减少约四分之一的计算成本。

    Dec, 2023

  • 噪声感知语音增强处理技术 —— 基于扩散概率模型

    本文提出了一种噪声感知语音增强方法，通过噪声分类模型提取噪声特定信息来指导扩散模型中的逆向去噪过程，并采用多任务学习模式来优化增强和分类任务，实验表明该方法在 VoiceBank-DEAMND 数据集上的性能显著优于多种扩散型语音增强方法，尤其是在未知噪声上表现出较好的泛化性能。

    Jul, 2023

  • 用于生成性语音增强的单步和少步扩散

    通过两阶段训练方法，我们解决了扩散模型在语音增强中的潜在问题，实现了与基准模型相当的性能，缩短了推理过程时间，并显著优于扩散基线模型。

    Sep, 2023

  • 基于扩散概率模型的语音增强度量化方法

    研究提出了一种基于度量导向的语音增强方法 (MOSE)，通过创新的 actor-critic 框架，将评估度量视为后验奖励，以指导反向过程到度量增加方向，从而提高了性能。

    Feb, 2023

  • 基于扩散的语音增强：联合生成和预测解码器

    本文提出一种整合预测语音增强和扩散语音增强的统一系统，通过编码两者信息，并应用生成和预测解码器，最终将两种方法的输出融合，实现语音增强。实验证明，该方法可加快解码速度并提高性能。

    May, 2023

  • 通过扩散 GAN 提升无监督语音识别

    使用扩散 - GAN 提高无监督自动语音识别的敌对训练方法。将各种强度的实例噪声注入生成器的输出和来自预训练音素语言模型的未标记参考文本，使用时间步骤相关的判别器将它们分开，并将梯度反向传播更新生成器，实验表明该增强策略能有效地提高语音识别词错误率。

    Mar, 2023

  • 预训练特征引导扩散模型用于语音增强

    通过整合频谱特征到变分自编码器（VAE）中，并在反向过程中利用预训练特征进行引导，结合确定性离散积分方法（DDIM）来简化抽样步骤，我们的模型提高了效率和语音增强质量，同时在两个不同信噪比的公共数据集上展示出最先进的结果，超越了其他基线方法在效率和稳健性方面。所提出的方法不仅优化了性能，还增强了实际部署能力，而不增加计算需求。

    Jun, 2024

  • 通过合成进行语音增强的自监督学习

    本文提出了一种基于去噪声码器的语音增强方法，利用自监督学习获取语音的相关特征，并采用最佳的自监督学习配置，采用对抗训练方式进行声音去噪，最终实现了一种具备实时能力、优化了客观指标并超越了当前最先进的语音增强模型的方案。

    Nov, 2022