Nov, 2023

D4AM：用于下游声学模型的通用去噪框架

PDF
TL;DR在嘈杂环境中，声学模型的性能明显下降。本研究提出了一种用于各种下游声学模型的通用降噪框架 D4AM，通过特定声学模型和相应的分类目标，用反向梯度调整语音增强模型并考虑回归目标作为辅助损失，该方法可以直接估计合适的权重系数，从而避免了额外的训练成本，并有效改善各种未知声学模型的性能。该框架在 Google ASR API 上进行实验，相对于直接使用嘈杂输入，取得了 24.65% 的相对 WER 降低，是首个实现回归和分类目标有效组合的通用预处理器适用于各种未知 ASR 系统的工作。
acoustic modelsspeech enhancementautomatic speech recognitiondenoising frameworkregression and classification objectives
发现论文，激发创造
  • LC4SV：学习调节未见说话人验证模型的去噪框架

    在嘈杂环境中，为了提高演讲者验证（SV）模型的性能，我们提出了一个名为 LC4SV 的通用降噪框架，采用学习为基础的插值代理，自动生成增强信号与噪声输入之间合适的系数，从而改善 SV 系统的性能。

    Nov, 2023

  • 使用联合变分自编码器改进远场语音识别

    本文主要研究匹配情况下的语音增强问题，提出了一种基于联合 VAE 映射的方法，将远场的语音特征转换为近距离的特征，实验结果表明，改进的方法比 DA 方法和直接使用远场特征训练 AM 的方法分别在 WER 上提高了 2.5% 和 3.96%。

    Apr, 2022

  • 利用领域对抗训练的噪声自适应语音增强

    该研究提出了一种新颖的噪声自适应语音增强系统，该系统采用领域对抗训练方法解决训练和测试条件之间的噪声类型不匹配问题。实验结果表明，相较于没有自适应的 SE 系统，该系统在 PESQ、SSNR 和 STOI 方面可实现显著改善。

    Jul, 2018

  • 使用深度动态生成语音和噪音模型的无监督语音增强

    使用深度动态生成模型和动态变分自动编码器代替非负矩阵分解模型，进行语音增强的无监督学习方法获得了与最先进的方法相竞争的性能，而噪声依赖性训练配置使推理过程效率更高。

    Jun, 2023

  • 基于频域自回归建模的语音增强

    通过自回归（AR）模型在子带语音信号的频域中分离包络和载波部分，提出了一种改善语音质量和 ASR 性能的语音去混响统一框架，设计了基于双路径长短期记忆（DPLSTM）模型的神经网络结构，实现改善了子带包络和载波组件，进一步通过联合学习网络权重来优化 ASR 性能，该方法在 REVERB 挑战数据集和 VOiCES 数据集上相较基线系统以及其他去混响基准方法显示出显著的性能改善（基线系统上相对提升率为 10-24%），主观听测试进一步突显了音频还原质量的提升。

    Sep, 2023

  • 噪声感知语音增强处理技术 —— 基于扩散概率模型

    本文提出了一种噪声感知语音增强方法，通过噪声分类模型提取噪声特定信息来指导扩散模型中的逆向去噪过程，并采用多任务学习模式来优化增强和分类任务，实验表明该方法在 VoiceBank-DEAMND 数据集上的性能显著优于多种扩散型语音增强方法，尤其是在未知噪声上表现出较好的泛化性能。

    Jul, 2023

  • 通过合成进行语音增强的自监督学习

    本文提出了一种基于去噪声码器的语音增强方法，利用自监督学习获取语音的相关特征，并采用最佳的自监督学习配置，采用对抗训练方式进行声音去噪，最终实现了一种具备实时能力、优化了客观指标并超越了当前最先进的语音增强模型的方案。

    Nov, 2022

  • 去噪语言模型：将错误修正模型推向语音识别极限

    使用大量合成数据进行训练的缩放误差校正模型 (Denoising LM) 在自动语音识别 (ASR) 系统中实现了最先进的性能表现，通过合成语音进入 ASR 系统并与原始文本配对训练，DLM 取得了 1.5% 的单词错误率 (WER) 以及在 Librispeech 上新的 ASR 性能记录，并展示了取代传统语言模型的潜力。

    May, 2024

  • 一种基于神经状态空间模型的高效语音分离方法

    提出了一种基于神经状态空间模型的高效音频分离框架 S4M，该模型可以将输入信号建模为线性常微分方程的形式，并在多尺度表示学习中学习全局一致的分离和重构，其模型复杂度显著低于 Attention-based Sepformer。

    May, 2023

  • DASA：面向说话人验证的难度感知语义增强

    通过围绕发音人嵌入空间中的语义方向对训练样本进行扰动，使用鲁棒性发音人嵌入来估计准确的协方差矩阵，并推导出了预期损失的闭式上界，该研究提出了一种新颖的难度感知的语义扩增方法，能够在几乎没有额外计算成本的情况下产生多样化的训练样本，取得了令人瞩目的性能改进。

    Oct, 2023