本研究旨在使用自动语音识别模型进行视觉语音识别的强化学习，通过跨媒体蒸馏方法将 Connectionist Temporal Classification（CTC）与逐帧交叉熵损失相结合，以无标注的视频数据来提高效果和速度，并在 LRS2 和 LRS3 数据集上实现了最先进的结果。

Nov, 2019

本文研究了将知识从一个训练规模较大的教师模型转移到较小的学生模型中的知识蒸馏技术，在LibriSpeech / LibriLight公共数据集（60k小时）和我们公司的内部数据（600k小时）上对大规模RNN-T模型的软目标和硬目标蒸馏进行了比较，发现当教师和学生具有不同的架构（如大教师和小流式学生）时，硬目标更有效。此外，软目标蒸馏在自训练场景（如迭代大型教师训练）中效果更好。通过使用软目标蒸馏进行Noisy Student训练，成功在LibriSpeech上实现了新的SoTA词误率（dev-other上8％的相对改进），并允许我们的生产教师不断适应新的数据域。

Oct, 2022

该论文研究了如何利用预训练语言模型来提高自动语音识别的性能，提出了基于分层知识蒸馏的方法，并使用交叉模态蒸馏和对比损失以及回归损失来跨语言层面和声学层面校准自动语音识别模型，实现了相对误差率降低15％，并且达到了同类最先进模型的性能。

Jan, 2023

研究使用知识蒸馏来训练循环神经网络转录器模型的限制，并探讨如何有效地从不同质量的ASR教师中蒸馏知识。我们发现，全加和蒸馏方法在RNN-T模型中表现最佳，特别是在针对质量差的教师时，另外我们还提出了一种变体的全加和蒸馏方法，提高了WRE。

Mar, 2023

无需转录, 用非参数存储库从数据角度提高语音翻译数据效率

Apr, 2023

该研究提出了三种知识蒸馏方法，通过应用于声音编码器(audio-KD)和解码器(tok-KD和seq-KD)以解决神经网络在非稳态环境下学习新概念的问题，特别应用于连续学习等领域的口语理解问题。结果表明，seq-KD可以显著提高性能，并与audio-KD的结合进一步降低了平均WER并增强了实体预测指标。

May, 2023

本文提出了一种自适应两阶段知识蒸馏方法，其中包括隐藏层学习和输出层学习，以缩小流式语音识别中流式和非流式转导模型的性能差距，并在LibriSpeech语料库中相比原始流式模型获得了19%的相对降低的词错误率和对第一个令牌的更快响应。

Jun, 2023

为了提高流式自动语音识别的性能，本文提出了一种从非流式模型到流式模型的逐层知识蒸馏方法，并通过自动回归预测编码机制鼓励流式模型预测未见的未来语境，实验证明该方法能显著降低错误率。

Aug, 2023

通过自监督预训练（SSL）持续适应现有的SSL模型至目标领域已被证明对于资源稀缺的自动语音识别（ASR）非常有效。本文提出了一种简单而新颖的方法，称为稳定蒸馏，用于基于SSL的持续预训练，促进目标领域ASR性能的提升，其中有限的有标签和无标签数据。稳定蒸馏将自蒸馏作为持续预训练的正则化方式，减轻持续预训练在源领域与目标领域不同时所面临的过拟合问题。具体而言，首先，在目标领域ASR数据集上对初始SSL预训练模型执行普通的持续预训练，并将其称为教师。接下来，将相同的初始预训练模型作为学生，执行持续预训练，同时强制其隐藏表示与教师的表示接近（通过MSE损失）。然后，使用该学生在目标数据集上进行下游ASR微调。在实践中，当在不同的实验设置中评估时，稳定蒸馏胜过了我们的所有基线方法，WER提高0.8-7个百分点。

Dec, 2023

本文通过使用多解码器和知识蒸馏来实现流式和非流式自动语音识别（ASR）的联合优化，主要研究了ASR模块的编码器整合、分离解码器以实现灵活切换模式，以及通过两个模块化编码器和解码器之间的相似性保持知识蒸馏来提高性能。评估结果显示，在单一模型中与多个独立模块相比，流式ASR的字符错误率相对减少了2.6%-5.3%，非流式ASR的字符错误率相对减少了8.3%-9.7%。

May, 2024