通过自监督预训练（SSL）持续适应现有的 SSL 模型至目标领域已被证明对于资源稀缺的自动语音识别（ASR）非常有效。本文提出了一种简单而新颖的方法，称为稳定蒸馏，用于基于 SSL 的持续预训练，促进目标领域 ASR 性能的提升，其中有限的有标签和无标签数据。稳定蒸馏将自蒸馏作为持续预训练的正则化方式，减轻持续预训练在源领域与目标领域不同时所面临的过拟合问题。具体而言，首先，在目标领域 ASR 数据集上对初始 SSL 预训练模型执行普通的持续预训练，并将其称为教师。接下来，将相同的初始预训练模型作为学生，执行持续预训练，同时强制其隐藏表示与教师的表示接近（通过 MSE 损失）。然后，使用该学生在目标数据集上进行下游 ASR 微调。在实践中，当在不同的实验设置中评估时，稳定蒸馏胜过了我们的所有基线方法，WER 提高 0.8-7 个百分点。

Dec, 2023

本研究提出了一种新的方法，使用一系列未标记的领域语料库来连续培训语言模型，从而改善它们的最终任务绩效。该方法的关键创新点是一种软掩蔽机制，它直接控制语言模型的更新，同时提供了一个新的代理来保留原始 LM 中的通用知识。实证评估证明了所提方法的有效性。

Feb, 2023

本文提出采用交叉失真映射和域对抗训练技术对自监督学习的语音预训练模型进行知识蒸馏，以缓解性能差距问题，具有较好的性能表现。

Oct, 2022

通过 CrossTimeNet 提出一种新型的跨领域自监督学习框架，利用时间序列分词模块，从各个领域学习可转移的知识，并且以预训练语言模型作为编码器网络的初始化，取得优于以往工作的卓越性能。

Mar, 2024

本文提出了一种系统的无监督领域自适应框架，利用自监督方法在预训练和微调范式中充分利用无标签数据，在解决提高自监督方法在异领域性能的同时，通过提出三种创新性的调整方法，有效地提高了自适应领域的性能。

Jun, 2022

本文探讨了语音表示的自监督学习，其中更富含挑战的是那些预训练数据的领域与微调和测试数据的领域不同的情形，试验结果表明在预训练过程中加入目标领域的数据可以显著提高性能。

Apr, 2021

本论文采用自监督预训练方法 BEST-RQ，并使用 JUST Hydra 进行源域和无监督目标域数据的联合微调，将 FM 编码器适配器和解码器微调到目标域，使用少量带标记的域内数据，实现了在大规模 YouTube 和语音搜索任务中既数据又模型参数的高效性，在仅使用 2160 万个带标签的域内数据和 130.8 M 的微调参数的情况下，与另外 3 亿带标签的域内数据从头训练 731.1M 模型的效果相同。

Feb, 2023

本篇论文提出一种用于有声学领域差异的监督领域自适应方法，通过数据增强来减小源域和目标域的差异，并在初步微调阶段使用，证明了该方法的有效性。

Jun, 2023

本文提出了一种名为 PADA 的方法，其中通过修剪已预训练在大量跨领域（OOD）数据上的模型中的冗余权重，帮助目标领域 ASR 微调。通过各种修剪策略的比较研究，本文探讨了基于任务对称和不对称修剪对 PADA 的影响，并提出了一种称为基于交叉领域任务感知修剪（CD-TAW）的新的修剪范式。CD-TAW 可以获得来自精细调整的 OOD 模型的初始修剪掩模。实验表明，CD-TAW 方法在没有语言模型解码的 Switchboard 数据的 2 小时子集上进行微调时相对 WER 提高了最多 20.6％。

Mar, 2022

该论文介绍了一种用于在设备上进行 ASR 领域自适应的联合学习系统，使用自我标记和数据增强和过滤技术来提高强的 Emformer Transducer 的性能，并减少训练和网络成本。

Mar, 2022