本文提出了一种基于大规模预训练语言模型的领域数据选择方法，通过度量句子的隐式相似性进行聚类，仅需要少量数据即可有效提高神经机器翻译的准确性。

Apr, 2020

本文探讨了如何利用数据增强技术来解决语言和领域中数据不足的问题，从而在限制条件下将自监督学习应用于语音表示方面，并在 Wav2Vec 2.0 预训练模型的每个组成部分上提出了改进方法，在 Librispeech 的测试任务中比 Wav2Vec 2.0 实现了 13％的相对字错误率改进。

Jun, 2022

本研究旨在探讨在预训练和 fine-tuning 阶段数据属性存在实质性差异的情况下，在空中交通管制数据上分析 Wav2Vec 2.0 和 XLS-R 模型的鲁棒性，结果显示，通过只使用已标注数据的较小部分来对 E2E 声学模型进行 fine-tuning，相对于基于混合式 ASR 基线的声学模型，可以在几个开源且具有挑战性的 ATC 数据库中实现 20％至 40％的相对字错率降低，并分析了一种 ATC 数据集中的低资源和性别偏见的情况。

Mar, 2022

该论文研究了在数据稀缺情景中，将预训练模型的权重转移用于辅助其他任务的重要性，特别是在深度学习领域中。通过对训练好的模型进行微调，可以有效改善对鸟类物种识别的性能。

Apr, 2024

本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

Mar, 2022

该论文提出了一种新颖的无监督自适应方法，通过学习利用目标领域的无标签数据和标记的领域外数据，合成标记数据，从而解决自然语言处理中对于各种语言和领域进行自然语言处理的需求。

Jun, 2018

研究表明，对于训练和测试领域不匹配的情况下，当前的语音识别系统会显示出较大的性能下降。自我训练方法可以帮助解决这个问题，并在域漂移的情况下使模型适应。本文调查了在测试集上进行噪声学生教师训练作为测试时自适应方法的效益，类似于语言模型的动态评估方法，它可以在话语边界之间传递信息并作为一种域适应方法。实验中使用了一系列领域内和领域外数据集，展示了高达 32.2％的相对增益。有趣的是，我们的方法显示出比典型的自我训练设置使用单独的适应数据的更大增益。

Jun, 2024

本文通过对自监督预训练语音中不同领域因素的实验研究，发现语音中的语音学因素在预训练时具有重要作用，而语法和句法因素较不重要，这是首次探究预训练语音中的领域特征。

Mar, 2022

本文提出了一种系统的无监督领域自适应框架，利用自监督方法在预训练和微调范式中充分利用无标签数据，在解决提高自监督方法在异领域性能的同时，通过提出三种创新性的调整方法，有效地提高了自适应领域的性能。

Jun, 2022

本文提供了音频理解模型预训练策略的广泛比较分析，探讨了预训练数据集（音乐或通用音频）和预训练方法（有监督或无监督）对下游任务的影响，特别是在音乐领域的多项任务中，超大规模有人工注释的音乐数据集上训练的有监督模型实现了最先进的性能，而域限制在音乐领域的无监督模型则在某些情况下能实现优异的有监督学习和无监督学习性能，表现出较高的效率和通用性。

Oct, 2022