Dec, 2023

稳定蒸馏：针对低资源自动语音识别的连续预训练正则化

PDF
TL;DR通过自监督预训练（SSL）持续适应现有的 SSL 模型至目标领域已被证明对于资源稀缺的自动语音识别（ASR）非常有效。本文提出了一种简单而新颖的方法，称为稳定蒸馏，用于基于 SSL 的持续预训练，促进目标领域 ASR 性能的提升，其中有限的有标签和无标签数据。稳定蒸馏将自蒸馏作为持续预训练的正则化方式，减轻持续预训练在源领域与目标领域不同时所面临的过拟合问题。具体而言，首先，在目标领域 ASR 数据集上对初始 SSL 预训练模型执行普通的持续预训练，并将其称为教师。接下来，将相同的初始预训练模型作为学生，执行持续预训练，同时强制其隐藏表示与教师的表示接近（通过 MSE 损失）。然后，使用该学生在目标数据集上进行下游 ASR 微调。在实践中，当在不同的实验设置中评估时，稳定蒸馏胜过了我们的所有基线方法，WER 提高 0.8-7 个百分点。
发现论文，激发创造
  • 自我监督语音模型的有效蒸馏在自动语音识别中的应用探究

    本文旨在研究将 HuBERT 基于自监督学习的模型进行有效的蒸馏，用于自动语音识别。我们进行了综合研究，设计了一种简单有效的算法，将参数减少 17％，将推理速度翻倍，同时又能在功能上达到满意的性能降级。

    Oct, 2022

  • 改善自监督语音处理模型在扭曲场景下的泛化性能

    本文提出采用交叉失真映射和域对抗训练技术对自监督学习的语音预训练模型进行知识蒸馏，以缓解性能差距问题，具有较好的性能表现。

    Oct, 2022

  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

    Mar, 2022

  • FusDom: 结合领域内外知识进行持续自监督学习

    本文介绍了一种名为 FusDom 的简单而创新的基于自监督学习的连续预训练方法，通过在两个具有修改的预训练头部的相同自监督学习模型之间使用交叉注意机制，实现有弹性且不遗忘过去所见概念的语音表示学习，从而改进了在目标领域的自动语音识别性能。

    Dec, 2023

  • Transformer 进一步预训练的自蒸馏方法

    本文提出了自蒸馏（self-distillation）作为进一步预训练阶段的正则化方法来解决 Vision Transformer 模型在目标未标记数据上预训练的过拟合问题，最终在图像分类和文本分类任务中优于相关基线。

    Sep, 2022

  • 将预训练语言模型提炼为多语言自动语音识别模型

    本研究提出了一个名为 Distill-L2S 的新方法，将一个已经训练好的跨语言语言模型转移到语音识别模型中，通过该方法在 20 种低资源语言中达到了优越性能。

    Jun, 2022

  • 软硬目标 RNN-T 蒸馏在大规模 ASR 中的比较

    本文研究了将知识从一个训练规模较大的教师模型转移到较小的学生模型中的知识蒸馏技术，在 LibriSpeech / LibriLight 公共数据集（60k 小时）和我们公司的内部数据（600k 小时）上对大规模 RNN-T 模型的软目标和硬目标蒸馏进行了比较，发现当教师和学生具有不同的架构（如大教师和小流式学生）时，硬目标更有效。此外，软目标蒸馏在自训练场景（如迭代大型教师训练）中效果更好。通过使用软目标蒸馏进行 Noisy Student 训练，成功在 LibriSpeech 上实现了新的 SoTA 词误率（dev-other 上 8％的相对改进），并允许我们的生产教师不断适应新的数据域。

    Oct, 2022

  • 从一开始进行持续的伪标签化

    本文提出了动态控制自训练过程中伪标签（PL）进化的方法，该方法避免了在低资源设置下过拟合到有标记的数据集。通过在线更改 PL 来控制 PL 缓存的会员资格和改善泛化能力。在预测分布中采样可进一步稳定训练，这两种技术使我们的自训练模型与之前的工作不相上下。

    Oct, 2022

  • STaR: 为轻量级语音自监督学习模型提取语音时序相关性

    通过使用 STaR（speech temporal relation）蒸馏方法，能够在参数较少的情况下压缩和保持语音自监督学习模型的表现，该方法适用于不同的语音自监督学习模型并具有鲁棒的性能。

    Dec, 2023

  • 在实际应用中应用自监督学习，实现混合式自动语音识别

    本文讨论了如何利用未经筛选的音频数据进行自监督学习，在数据预处理到部署流式混合语音识别模型的整个过程中研究了多种不同的预训练策略，比较了近期开发的对比损失，并通过实验结果表明，利用领域内未筛选数据进行自监督学习的表现比领域外其他预训练策略要好。

    May, 2022