Jan, 2023

通过分层蒸馏将预训练语言模型中的知识转移到基于 Cif 的语音识别器

PDF
TL;DR该论文研究了如何利用预训练语言模型来提高自动语音识别的性能，提出了基于分层知识蒸馏的方法，并使用交叉模态蒸馏和对比损失以及回归损失来跨语言层面和声学层面校准自动语音识别模型，实现了相对误差率降低 15％，并且达到了同类最先进模型的性能。
pre-trained language modelsautomatic speech recognitionhierarchical knowledge distillationcross-modal distillationcontrastive loss
发现论文，激发创造
  • 将预训练语言模型提炼为多语言自动语音识别模型

    本研究提出了一个名为 Distill-L2S 的新方法，将一个已经训练好的跨语言语言模型转移到语音识别模型中，通过该方法在 20 种低资源语言中达到了优越性能。

    Jun, 2022

  • 将解码与知识蒸馏并行进行：从语言模型到端到端语音识别的有效知识蒸馏

    通过使用中间层和最终层，本研究提出了一种将 BERT 教师模型的知识蒸馏到自动语音识别模型中的新方法。实验证明，使用中间层作为蒸馏目标可以更有效地将语言模型知识蒸馏到较低的网络层，从而实现比外部语言模型的浅层融合更好的识别准确性，同时保持了快速并行解码。

    Jan, 2024

  • ASR 是你所需要的：用于唇读的跨模态蒸馏

    本研究旨在使用自动语音识别模型进行视觉语音识别的强化学习，通过跨媒体蒸馏方法将 Connectionist Temporal Classification（CTC）与逐帧交叉熵损失相结合，以无标注的视频数据来提高效果和速度，并在 LRS2 和 LRS3 数据集上实现了最先进的结果。

    Nov, 2019

  • 文本和语音预训练模型之间的自适应知识蒸馏

    本文介绍了一种通过度量学进行知识蒸馏以改善文本和音频的嵌入向量的对齐，提出了 Prior-informed Adaptive knowledge Distillation (PAD) 方法，该方法具有更好的文本语音模型之间的传输能力，我们在三个口语理解基准测试中进行了评估。

    Mar, 2023

  • 自我监督语音模型的有效蒸馏在自动语音识别中的应用探究

    本文旨在研究将 HuBERT 基于自监督学习的模型进行有效的蒸馏，用于自动语音识别。我们进行了综合研究，设计了一种简单有效的算法，将参数减少 17％，将推理速度翻倍，同时又能在功能上达到满意的性能降级。

    Oct, 2022

  • DistilWhisper: 通过语言专家高效蒸馏多任务语音模型

    DistilWhisper 是一个轻量级模块化的 ASR 框架，通过语言专家和知识蒸馏的方式提高了 Whisper 的性能，同时保留了多任务和多语言预训练模型的鲁棒性，在目标语言中提高了 ASR 性能而仅引入了可忽略的参数开销。

    Nov, 2023

  • 自适应两阶段知识蒸馏缩小流式转导 ASR 和非流式转导 ASR 之间的差距

    本文提出了一种自适应两阶段知识蒸馏方法，其中包括隐藏层学习和输出层学习，以缩小流式语音识别中流式和非流式转导模型的性能差距，并在 LibriSpeech 语料库中相比原始流式模型获得了 19% 的相对降低的词错误率和对第一个令牌的更快响应。

    Jun, 2023

  • 知识蒸馏在多任务语音表示学习中的应用

    本论文中，我们使用知识蒸馏通过压缩 wav2vec 2.0 和 HuBERT 语音模型约 75% 的参数量，并分别在单任务和多任务框架上进行微调实验来进行全面的性能分析，实验结果表明，在关键词检测和说话人验证任务中，微调经过知识蒸馏的模型只有 0.1% 的准确率和 0.9% 的等误差率下降。

    Oct, 2022

  • CIF-PT：通过连续的集成和火预训练将语音和文本表示桥接到口语语言理解中

    提出了一种名为 CIF-PT 的新的预训练范式，通过连续整合与火预训练 (CIF) 来弥合语音和文本之间的表示，其在语音理解任务中的表现优于最新的模型，交叉模态表示的性能也更好。

    May, 2023

  • 基于 CTC 的 ASR 模型知识蒸馏与 BERT

    本研究提出使用 BERT 来优化基于 CTC 的自动语音识别，通过计算最合理的 CTC 路径获得对齐，并且不影响 CTC 的快速推理速度。实验结果显示，该方法提高了识别准确率而不影响推理速度。

    Sep, 2022