Dec, 2023

PhasePerturbation: 语音数据增强通过相位扰动的自动语音识别

PDF
TL;DR本文提出了一种名为 PhasePerturbation 的新型语音数据增强方法，利用动态的语音相位谱操作，通过随机化、频率遮蔽和时间遮蔽来增加语音数据的多样性。在 wav2vec2.0 预训练的 ASR 模型上，通过将模型与经过 PhasePerturbation 增强的 TIMIT 语料进行微调，实验证明相比没有增强操作的基准模型，词错误率（WER）相对降低了 10.9％。此外，通过结合基于振幅谱的增强方法 Vocal Tract Length Perturbation（VTLP）和 SpecAug，所提出的方法在 WER 上进一步提升了 12.9％和 15.9％，凸显了 PhasePerturbation 改进当前基于振幅谱的增强方法的能力。
发现论文，激发创造
  • 使用 S3PRL 工具包进行语音数据增强方法比较

    本文使用 S3PRL toolkit 比较不同的数据增强策略，包括 SpecAugment，Gaussian Noise 和 Speed Perturbation，探讨了 HuBERT 和 wav2vec 在 Phoneme Recognition 和 Automatic Speech Recognition 任务中的表现，结果表明使用数据增强可以提高模型的鲁棒性。

    Feb, 2023

  • PhaseAug: 可微分扩充的语音合成，模拟一对多映射

    本文提出了一种基于 GAN 的语音合成方法 PhaseAug，该方法通过对每个频率进行相位旋转来模拟一对多映射，可以更好地实现语音合成，有效解决周期性伪影的问题。

    Nov, 2022

  • 探究无序语音识别数据增强技术

    本文研究了一组用于混乱语音识别的数据增强技术，包括声道长度扰动（VTLP）、节奏扰动和速度扰动，并利用正常和混乱语音进行增强处理。通过基于学习隐藏单元贡献（LHUC）的说话者自适应训练对原始和增强数据中的受损说话者之间的变异性进行建模。使用基于速度扰动的最佳增强方法构建的最终说话者自适应系统相对于没有数据增强的基线系统减少了 2.92％绝对（9.3％相对）的词错误率（WER），并在包含 16 位 Dysarthria 患者的测试集上获得了 26.37％的整体 WER。

    Jan, 2022

  • SpecAugment：一种简单的自动语音识别数据增强方法

    通过在神经网络的特征输入（即滤波器组系数）中直接应用声音数据扩充方法 SpecAugment - 扭曲特征，掩盖一定数量的频道块以及时间步长，我们在端到端的语音识别任务上实现了最先进的性能，超过了所有以前的工作。

    Apr, 2019

  • MixSpeech: 低资源语音识别数据增强

    本文提出了 MixSpeech，一种基于混合学习的自动语音识别数据增强方法，通过该方法可以有效地提高模型性能，实验结果表明该方法优于基准模型和其他流行的数据增强方法。

    Feb, 2021

  • 数据增强在时域中对比学习语音表示

    本文提出数据增强方法 WavAugment，对于改进基于 Contrastive Predictive Coding 算法的语音信号表示学习具有显著的增强效果，其中使用的时间域数据增强方法包括音高调整，加性噪声和混响。此外，时间域数据增强还在有限监督语音音素分类任务中得到了验证。

    Jul, 2020

  • 相位连续性：学习语音增强的相位频谱导数

    本文提出了一种有效的相位重建策略，可以在嘈杂的环境中操作，通过将相位连续性损失考虑在最先进的神经语音增强系统中，本文证明了我们所提出的方法在训练过程中，可以显著提高增强语音信号的质量。

    Feb, 2022

  • 无需更多数据：通过文本到语音数据增强来提高端到端语音识别

    采用数据增强和 TTS 技术，对 ASR 的训练数据进行扩充，并通过集成语言模型，在 LibriSpeech 数据上建立 end-to-end 模型，相对于半监督技术的效果更好。

    May, 2020

  • 具有感知驱动优化和双重转换的语音增强

    本文提出了一种基于子带的语音增强系统，名为 PT-FSE，该系统通过对子带频谱图的操作来增强语音，其中包括全频带和子频带的融合模型、频率变换模块、时间变换和人类听觉感知的损失函数，实验结果表明，该系统达到了显著的改进，并且在基准数据集上优于当前最先进的技术。

    Sep, 2022

  • 面向发音障碍和老年人的个性化对抗性数据增强语音识别

    本文提出使用基于 GAN 的数据增强方法，通过分析非标准语音（如老年人和 dysarthric 患者的语音）的光谱和时间差异可模拟增强数据，提高了 UASpeech、TORGO、Pitt 和 JCCOCC MoCA 等数据集上 TDNN 和 Conformer ASR 系统的训练精度，相对于基于速度的数据增强方法，可使 TORGO 和 DementiaBank 数据集的 WER 分别提高 9.61％和 6.4％。

    May, 2022