Jun, 2023

自适应两阶段知识蒸馏缩小流式转导 ASR 和非流式转导 ASR 之间的差距

PDF
TL;DR本文提出了一种自适应两阶段知识蒸馏方法，其中包括隐藏层学习和输出层学习，以缩小流式语音识别中流式和非流式转导模型的性能差距，并在 LibriSpeech 语料库中相比原始流式模型获得了 19% 的相对降低的词错误率和对第一个令牌的更快响应。
发现论文，激发创造
  • 从非流式 ASR 编码器到流式 ASR 编码器的知识蒸馏，使用辅助非流式层

    为了提高流式自动语音识别的性能，本文提出了一种从非流式模型到流式模型的逐层知识蒸馏方法，并通过自动回归预测编码机制鼓励流式模型预测未见的未来语境，实验证明该方法能显著降低错误率。

    Aug, 2023

  • RNN-Transducer 模型的高效知识蒸馏

    本文提出了一种针对 RNN-Transducer 模型的知识蒸馏方法，通过对模型剪枝的过程结合知识蒸馏，实现了对小型模型精度的提高。 实验结果表明，通过此方法可以在多种数据集上获得较好的性能提升。

    Nov, 2020

  • 微型语音增强的两步知识蒸馏

    借助知识蒸馏技术，我们提出了一种新的两步法来压缩 Tiny 语音增强模型，其中包括先用知识蒸馏目标进行预训练，然后切换到完全监督训练模式，同时提出了一种新的细粒度相似性保持 KD 损失函数，该方法在高压缩和低信噪比条件下表现出突出的改进，相对于基线，在输入信噪比为 - 5dB 和 63 倍压缩的情况下，信噪失真比分别提高了 0.9dB 和 1.1dB。

    Sep, 2023

  • 软硬目标 RNN-T 蒸馏在大规模 ASR 中的比较

    本文研究了将知识从一个训练规模较大的教师模型转移到较小的学生模型中的知识蒸馏技术，在 LibriSpeech / LibriLight 公共数据集（60k 小时）和我们公司的内部数据（600k 小时）上对大规模 RNN-T 模型的软目标和硬目标蒸馏进行了比较，发现当教师和学生具有不同的架构（如大教师和小流式学生）时，硬目标更有效。此外，软目标蒸馏在自训练场景（如迭代大型教师训练）中效果更好。通过使用软目标蒸馏进行 Noisy Student 训练，成功在 LibriSpeech 上实现了新的 SoTA 词误率（dev-other 上 8％的相对改进），并允许我们的生产教师不断适应新的数据域。

    Oct, 2022

  • 多解码器与知识蒸馏的流式与非流式自动语音识别的联合优化

    本文通过使用多解码器和知识蒸馏来实现流式和非流式自动语音识别（ASR）的联合优化，主要研究了 ASR 模块的编码器整合、分离解码器以实现灵活切换模式，以及通过两个模块化编码器和解码器之间的相似性保持知识蒸馏来提高性能。评估结果显示，在单一模型中与多个独立模块相比，流式 ASR 的字符错误率相对减少了 2.6%-5.3%，非流式 ASR 的字符错误率相对减少了 8.3%-9.7%。

    May, 2024

  • AdaKD：使用自适应损失加权的 ASR 模型动态知识蒸馏

    本文提出了一种自适应知识蒸馏技术，通过课程学习的启发，以实例级别自适应地加权损失，并实验证明该方法优于传统的知识蒸馏方法和现有的实例级别损失函数。

    May, 2024

  • 通过分层蒸馏将预训练语言模型中的知识转移到基于 Cif 的语音识别器

    该论文研究了如何利用预训练语言模型来提高自动语音识别的性能，提出了基于分层知识蒸馏的方法，并使用交叉模态蒸馏和对比损失以及回归损失来跨语言层面和声学层面校准自动语音识别模型，实现了相对误差率降低 15％，并且达到了同类最先进模型的性能。

    Jan, 2023

  • 将解码与知识蒸馏并行进行：从语言模型到端到端语音识别的有效知识蒸馏

    通过使用中间层和最终层，本研究提出了一种将 BERT 教师模型的知识蒸馏到自动语音识别模型中的新方法。实验证明，使用中间层作为蒸馏目标可以更有效地将语言模型知识蒸馏到较低的网络层，从而实现比外部语言模型的浅层融合更好的识别准确性，同时保持了快速并行解码。

    Jan, 2024

  • 非参数知识蒸馏在端到端语音翻译中的解耦

    无需转录，用非参数存储库从数据角度提高语音翻译数据效率

    Apr, 2023

  • 使用完整加和损失从带有噪声训练标签的 RNN-T 模型中进行鲁棒的知识蒸馏

    研究使用知识蒸馏来训练循环神经网络转录器模型的限制，并探讨如何有效地从不同质量的 ASR 教师中蒸馏知识。我们发现，全加和蒸馏方法在 RNN-T 模型中表现最佳，特别是在针对质量差的教师时，另外我们还提出了一种变体的全加和蒸馏方法，提高了 WRE。

    Mar, 2023