Dec, 2023

自监督预训练用于在恶劣环境中实现稳健个性化语音活动检测

PDF
TL;DR本文提出了使用大规模无标签数据集上的自监督预训练，以改善个性化语音活动检测 (VAD) 模型在恶劣条件下的性能。我们使用自回归预测编码 (APC) 框架对长短期记忆 (LSTM) 编码器进行预训练，并进行个性化 VAD 的微调。我们还提出了一种去噪的 APC 变体，旨在提高个性化 VAD 的鲁棒性。经过系统评估后，我们发现在清晰环境下，自监督预训练不仅提高了性能，而且生成的模型与纯监督学习相比在恶劣条件下更加鲁棒。
self-supervised pretrainingvoice activity detectionautoregressive predictive codingdenoising variantadverse conditions
发现论文，激发创造
  • 自回归预测编码的语音生成预训练

    该研究探讨使用自回归预测编码（APC）进行生成式预训练学习，以学习有意义、不具体且可传递的语音表示，并经过三个语音应用程序的转移学习实验来验证和评估其效能。该方法不仅在所有 3 个任务上优于表面特征和其他流行的表示学习方法，而且还能够减少下游标注数据大小和模型参数。同时，使用 Transformers 来建模 APC 将优于使用递归神经网络（RNN）方法。

    Oct, 2019

  • SVVAD：用于说话人验证的个人语音活动检测

    我们提出了一种基于说话人验证的语音活动检测框架，实现了无标签训练方法并使用三元损失来适应 SV 中最具信息的声学特征。结果表明，相对于传统方案，该框架在混合说话人的条件下明显提高了等误差率，并揭示了人类判断中不同语音部分的重要性。

    May, 2023

  • 文本识别的自我监督预训练

    本文研究了文档文本识别的自监督预训练方法，探索了利用未标记数据的方法，并提出了基于掩码标签预测的自监督预训练方法，以及联合嵌入方法和模型崩溃预防技术。通过在历史手写和历史印刷数据集上的实验表明，自监督预训练在目标领域数据上非常有效，但在与之密切相关的领域上的迁移学习上却表现不佳。

    May, 2024

  • 自监督预训练在语音识别中的有效性

    本文比较了自监督表示学习算法 - 无量化学习和显式量化学习，发现使用显式量化的自监督学习算法以较高的准确性建立了数据词汇表，并在随后的 BERT 训练中学习了有效的表示方法，从而实现了训练量极小的语音识别系统。

    Nov, 2019

  • Bi-APC: 双向自回归预测编码用于无监督预训练及其在儿童语音识别中的应用

    本文提出了一种双向无监督模型预训练方法（UPT），并将其应用于儿童自动语音识别，该方法通过自回归预测编码器（APC）和带有双向模型的 Bi-APC，将成人语音数据上的知识传递到儿童语音数据，提高了 LSTM 的基础识别结果。

    Feb, 2021

  • 跨模态监督学习视频中的活动发言者检测

    本文利用音频监督视频中活跃讲话者检测的学习，通过声音活动检测 (VAD) 以弱监督的方式指导基于视觉的分类器学习。使用时空特征进行分类，学习人特定的模型以及在线适应性的改进，利用时间连续性克服了缺乏干净训练数据的问题。通过跨模态学习，不需要监督，将知识从一种模式传递到另一种模式，建立了自学习活跃讲话者检测系统。

    Mar, 2016

  • 向量量化自回归预测编码

    本文提出了一种新颖的 VQ-APC 模型，通过探究逐渐受限的模型序列，明确了学习表示的成分，同时发现存在将音素和说话者信息最大化以优化自监督目标的点。

    May, 2020

  • 对抗鲁棒性：从自监督预训练到微调

    本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。

    Mar, 2020

  • 自学习和预训练对于语音识别互补

    这篇论文研究了自我训练和无监督预训练以提高语音识别系统的有效方法，并揭示了伪标记和使用 wav2vec 2.0 进行预训练在各种标签数据集上是有互补性的。使用 Libri-light 的仅 10 分钟标注数据和 LibriVox 的 53000 小时未标注数据，在 Librispeech 的测试集上实现了 3.0％/ 5.2％的识别率，这与一年前只经过 960 小时标注数据训练的最佳系统相媲美。使用所有标注数据的训练实现了 1.5％/ 3.1％的识别率。

    Oct, 2020

  • Transformer 基于语音识别的无监督预训练的进一步研究

    本文通过进一步研究 Masked Predictive Coding 的三个重要方面：预训练数据的发言风格，对流式模型的扩展和如何更好地将预训练阶段的知识转移，实验证明，在下游识别任务中，预训练数据与匹配的发言风格更有用，使用 APC 和 MPC 的统一培训目标在 HKUST 上训练的流式模型上提供了 8.46％的相对错误率降低，目标数据适应和逐层判别式培训的组合有助于 MPC 的知识转移，在 AISHELL 上相对基线实现了 3.99％的错误率降低。

    May, 2020