Feb, 2022

相位连续性：学习语音增强的相位频谱导数

PDF
TL;DR本文提出了一种有效的相位重建策略，可以在嘈杂的环境中操作，通过将相位连续性损失考虑在最先进的神经语音增强系统中，本文证明了我们所提出的方法在训练过程中，可以显著提高增强语音信号的质量。
neural speech enhancementphase reconstructionnoise reductionloss functionspectral losses
发现论文，激发创造
  • 相位匹配用于样本外泛化

    通过引入基于 Fourier 变换的结构性因果模型，本文旨在阐明领域泛化和频率组分之间的关系，将相位谱解释为半因果因素，将幅度谱解释为非因果因素。在多个基准测试中，通过对幅度谱进行扰动并建立空间关系来匹配相位组分，我们的方法在领域泛化和超出分布鲁棒性任务中取得了最先进的性能。

    Jul, 2023

  • 基于深度复数 U-Net 的相位感知语音增强

    通过三种方式解决相位估计问题，提出了基于复数建模的 Deep Complex U-Net，极坐标复数掩蔽方法和新型的 wSDR 损失函数，在 Voice Bank 和 DEMAND 数据库上测试表明相对于之前的方法实现了最新的性能提升。

    Mar, 2019

  • PhasePerturbation: 语音数据增强通过相位扰动的自动语音识别

    本文提出了一种名为 PhasePerturbation 的新型语音数据增强方法，利用动态的语音相位谱操作，通过随机化、频率遮蔽和时间遮蔽来增加语音数据的多样性。在 wav2vec2.0 预训练的 ASR 模型上，通过将模型与经过 PhasePerturbation 增强的 TIMIT 语料进行微调，实验证明相比没有增强操作的基准模型，词错误率（WER）相对降低了 10.9％。此外，通过结合基于振幅谱的增强方法 Vocal Tract Length Perturbation（VTLP）和 SpecAug，所提出的方法在 WER 上进一步提升了 12.9％和 15.9％，凸显了 PhasePerturbation 改进当前基于振幅谱的增强方法的能力。

    Dec, 2023

  • 语音去噪的 Wavenet

    该研究提出了一种基于非因果的扩张卷积和预测目标场而不是单个目标样本的、采用监督学习方式最小化回归损失的判别式模型适应方法，旨在进行语音去噪处理，比传统幅度谱法的维纳滤波法具有更好的计算性能和感知评估效果。

    Jun, 2017

  • 幅度相位重组：在频域重新思考卷积神经网络的鲁棒性

    本文研究使用图像的相位与幅度谱对于卷积神经网络在图片分类中的作用，发现使用相位谱能使网络更加稳健，利用此结论我们设计了新的数据增强方法并在多项测评中取得了最优结果。

    Aug, 2021

  • 基于深度学习的说话人分离相位重建：三角函数视角

    该研究采用深度学习对短时傅里叶变换领域中的单声道讲话人无关音频分离进行了相位重构实验，提出了三个基于迭代相位重构、组群延迟估计和相位差符号预测的算法，对公开的 wsj0-2mix 和 3mix 语料库进行了最先进的测试。

    Nov, 2018

  • PHASEN：一个考虑相位和谐波的语音增强网络

    本文介绍了一种基于深度神经网络的相位和谐感知模型（PHASEN），用于单通道语音增强，其中使用两种不同的流进行幅度和相位预测，并设计了频率转换模块来捕捉沿频率轴的长程相关性，在 AVSpeech + AudioSet 和 Voice Bank + DEMAND 数据集上分别获得 1.76dB 和大幅优于以前方法的表现。

    Nov, 2019

  • 使用相位特征改进基于 DNN 的音乐源分离

    本文探讨了利用深度神经网络在音乐源分离中仅依赖幅度特征与在加入相位特征后分离性能的提升，提出了一种新的神经网络结构，该结构结合了幅度和相位，实验结果表明，相比仅使用幅度特征的网络，在 DSD100 测试集上使用相位衍生特征能够有效提升音频信号的信噪比，特别地，低音乐器的分离效果因此得到了明显的提升。

    Jul, 2018

  • PhaseAug: 可微分扩充的语音合成，模拟一对多映射

    本文提出了一种基于 GAN 的语音合成方法 PhaseAug，该方法通过对每个频率进行相位旋转来模拟一对多映射，可以更好地实现语音合成，有效解决周期性伪影的问题。

    Nov, 2022

  • 使用循环一致生成对抗网络的两阶段复杂网络进行语音增强

    本文提出了一种基于两个阶段的去噪系统，该系统通过将 CycleGAN 模型的估计强度与原始嘈杂的相位相结合来获得粗略增强的复杂光谱，并利用复杂光谱映射网络进一步抑制噪声成分和估计干净相位。实验结果表明，该方法在各种评估指标方面始终优于之前的单阶段 CycleGAN 和其他最先进的 SE 系统，尤其是在背景噪声抑制方面

    Sep, 2021