May, 2023

SE-Bridge：使用恒定布朗桥的语音增强

PDF
TL;DRSE-Bridge 是一种基于稳定性模型的语音增强方法，通过解决一个随机微分方程并结合布朗桥过程，能够在多种指标上达到最先进的效果，并提高 15 倍的采样效率，同时在 ASR 和 SV 等下游任务中也表现出了良好的性能。
se-bridgespeech enhancementstochastic differential equationpf-odeconsistency model
发现论文，激发创造
  • 应用于基于得分的生成建模的扩散薛定谔桥

    通过将高斯噪声逐渐应用于复杂的数据分布，构建了一个确定性的生成模型，对应于具有时间不均匀漂移的倒退随机微分方程，用基于分数匹配的方法估计漂移。本文提出了 Diffusion SB 方法来处理 Schrödinger Bridge 问题，近似了迭代比例拟合过程，DSB 具有广泛的适用性，是流形上 Sinkhorn 算法的连续状态空间概率化推广。

    Jun, 2021

  • 噪声感知语音增强处理技术 —— 基于扩散概率模型

    本文提出了一种噪声感知语音增强方法，通过噪声分类模型提取噪声特定信息来指导扩散模型中的逆向去噪过程，并采用多任务学习模式来优化增强和分类任务，实验表明该方法在 VoiceBank-DEAMND 数据集上的性能显著优于多种扩散型语音增强方法，尤其是在未知噪声上表现出较好的泛化性能。

    Jul, 2023

  • 薛定谔桥在文本转语音合成上胜过扩散模型

    在这项研究中，我们提出了一种新的文本到语音系统，Bridge-TTS，通过将已建立的基于扩散的 TTS 方法中的嘈杂高斯先验替换为干净的确定性先验，以实现对目标的强结构信息的首次替代。

    Dec, 2023

  • Thunder: 一种使用布朗桥进行单向反演步骤的统一回归扩散语音增强方法

    通过使用基于扩散的语音增强方法，初始化扩散过程以改进音频，并使用回归模型可以减少计算步骤，提出了一种名为 Thunder 的统一回归 - 扩散模型，该模型利用布朗桥过程可在两种模式下运行，通过将扩散时间步骤设置为接近 1 可访问回归模式，但是标准得分扩散建模在此设置中性能不佳，为了缓解这个问题，我们修改了扩散模型以预测干净的语音而不是得分函数，从而以更紧凑的模型大小和更少的反向步骤实现了具有竞争力的性能。

    Jun, 2024

  • 基于扩散的语音增强：联合生成和预测解码器

    本文提出一种整合预测语音增强和扩散语音增强的统一系统，通过编码两者信息，并应用生成和预测解码器，最终将两种方法的输出融合，实现语音增强。实验证明，该方法可加快解码速度并提高性能。

    May, 2023

  • 研究语音增强扩散模型的设计空间

    扩展图像生成文献中的扩散模型框架以适应语音增强任务，通过探究扩散模型的设计方面，如神经网络预处理、训练损失权重、随机微分方程和反向过程中注入的随机性量，证明了先前的扩散模型语音增强系统的性能并非归因于干净和嘈杂信号之间的渐进转化，并表明适当的预处理、训练损失权重、随机微分方程和采样器选择可以在感知度度量方面优于流行的扩散模型语音增强系统，并减少约四分之一的计算成本。

    Dec, 2023

  • ESPnet-SE++：面向鲁棒语音识别、翻译和理解的语音增强

    本文介绍了将语音分离和增强（SSE）纳入 ESpnet 工具包的最新进展，包括最新的语音增强模型及其评估，并设计了新界面将语音增强应用于前端任务包括自动语音识别（ASR）、语音翻译（ST）和口语理解（SLU），实验表明其在多通道场景下是一种有前途的研究方向及可以用作未来研究的基准语料库。

    Jul, 2022

  • 神经薛定谔桥通过非成对图像翻译

    本研究介绍了一种新的无配对数据图像翻译方法 ——Unpaired Neural Schrödinger Bridge (UNSB), 它结合了 Schrödinger Bridge 模型和对抗训练等方法来进行学习，有效解决了高分辨率图像翻译困难的问题。

    May, 2023

  • 基于方差保持的插值扩散模型用于语音增强

    本研究的目标是实现扩散模型用于语音增强，介绍了基于方差保持的插值扩散和方差爆炸的插值扩散的框架，以及改进扩散模型的方法，并在公共基准中评估了该模型的性能

    Jun, 2023

  • 简化扩散薛定谔桥

    本研究介绍了一种新颖的理论简化方法，将扩散薛定谔桥与基于评分的生成模型统一起来，解决了扩散薛定谔桥在复杂数据生成方面的局限性，实现了更快的收敛和更强的性能。通过将基于评分的生成模型作为扩散薛定谔桥的初始解决方案，我们的方法充分发挥了两个框架的优势，确保了更高效的训练过程并提高了基于评分的生成模型的性能。同时，我们还提出了一种重新参数化技术，尽管在理论上存在逼近，但在实践中可以提高网络的适应能力。我们进行了广泛的实验评估，证实了简化扩散薛定谔桥的有效性，并展示了其显著的改进。我们相信本研究的贡献为先进的生成建模铺平了道路。代码可在此 https URL 获取。

    Mar, 2024