Jul, 2020

数据增强在时域中对比学习语音表示

PDF
TL;DR本文提出数据增强方法 WavAugment，对于改进基于 Contrastive Predictive Coding 算法的语音信号表示学习具有显著的增强效果，其中使用的时间域数据增强方法包括音高调整，加性噪声和混响。此外，时间域数据增强还在有限监督语音音素分类任务中得到了验证。
contrastive predictive codingspeech signalwavaugmentdata augmentationphoneme classification
发现论文，激发创造
  • 时间序列对比学习的参数增强

    通过分析时间序列数据增强使用信息理论，并总结最常采用的增强方法，我们提出了一种参数增强的对比学习框架 AutoTCL，它可以自适应地支持时间序列表示学习，无缝集成在不同的主干编码器中，实验证明在一元预测任务和分类任务中，我们的方法分别比领先的基准方法平均降低 6.5% 和 4.7% 的误差，并提高 1.2% 的平均准确率。

    Feb, 2024

  • 无监督分割和分类音素和单词的对比预测策略

    本文研究了基于对比预测编码 (CPC) 的自监督学习 (SSL) 方法在音素分类和音素、单词分割方面的性能。结果表明，现有算法在分类和分割性能上存在平衡。为了弥合这种差距，我们借鉴了在分割方面较好的方法，并将多级建模方法整合到 CPC 的改进版本 Aligned CPC (ACPC) 中，提高了在所有分类指标上的性能，并在单词分割方面取得了最先进的性能。

    Oct, 2021

  • 无监督单词分段的分段对比预测编码

    本文提出了一个用于零资源语音处理的新的模型，称为分段对比预测编码，能够对音频信号的帧级和更高级别的分组进行编码，并将此模型用于音素和单词分割，结果在 TIMIT 和 Buckeye 数据集上显著优于现有方法。

    Jun, 2021

  • PhasePerturbation: 语音数据增强通过相位扰动的自动语音识别

    本文提出了一种名为 PhasePerturbation 的新型语音数据增强方法，利用动态的语音相位谱操作，通过随机化、频率遮蔽和时间遮蔽来增加语音数据的多样性。在 wav2vec2.0 预训练的 ASR 模型上，通过将模型与经过 PhasePerturbation 增强的 TIMIT 语料进行微调，实验证明相比没有增强操作的基准模型，词错误率（WER）相对降低了 10.9％。此外，通过结合基于振幅谱的增强方法 Vocal Tract Length Perturbation（VTLP）和 SpecAug，所提出的方法在 WER 上进一步提升了 12.9％和 15.9％，凸显了 PhasePerturbation 改进当前基于振幅谱的增强方法的能力。

    Dec, 2023

  • 面向时间序列预测的多样性和连贯性增强

    本文提出了一种结合了谱分解和时间分解的数据增强方法，可用于预测型时间序列数据的生成，实验表明该方法在五个真实的数据集上均取得了比其他基准模型和增强方法更好的表现。

    Mar, 2023

  • 引导式对比自监督预训练在自动语音识别中的应用

    本研究提出了一种名为 GCPC 的改进型 CPC 方法，可以注入先验知识并在 Tacotron2 上进行预训练，实验表明，相比于 CPC，该方法在德语，法语和英语等自动语音识别任务中均表现出更好的识别效果。

    Oct, 2022

  • 使用分段对比预测编码进行无监督语音分割和可变速率表示学习

    该论文提出了一种使用自监督学习和分段对比预测编码框架来同时完成语音信号的音素和类似单词的分割任务，并发现了连续元音或半元音之间的边界是最难识别的，从而可以在较低的特征提取率下提取出更好的语音特征。

    Oct, 2021

  • SpecAugment：一种简单的自动语音识别数据增强方法

    通过在神经网络的特征输入（即滤波器组系数）中直接应用声音数据扩充方法 SpecAugment - 扭曲特征，掩盖一定数量的频道块以及时间步长，我们在端到端的语音识别任务上实现了最先进的性能，超过了所有以前的工作。

    Apr, 2019

  • RepAugment：面向输入的表示层数据增强用于呼吸音分类

    探索预训练语音模型在呼吸音分类中的有效性，并提出了能够处理预训练语音波形的输入不可知表示级别增广技术。实验结果表明，该方法优于 SpecAugment，在少数疾病类别的准确性上实现了显著改善，最高达到 7.14%。

    May, 2024

  • 变率分层 CPC 用于语音中的声学单位发现

    本文通过自监督学习探索了多层对比预测编码 (CPC) 模型对语音的分层表示，提出了一种基于不均匀下采样的模型，通过聚焦负采样和量化目标等方法增强了其对深度、离散性的优化，从而在 speech recognition 任务上得到了更好的效果，同时也实现了语音信号的有效分割。

    Jun, 2022