本文提出了一种系统的无监督领域自适应框架,利用自监督方法在预训练和微调范式中充分利用无标签数据,在解决提高自监督方法在异领域性能的同时,通过提出三种创新性的调整方法,有效地提高了自适应领域的性能。
Jun, 2022
本文采用基于自动选择属性变化的方法,通过对抗性学习和数据增强对源域语音数据进行协同变换以解决在鲁棒语音识别中遇到的训练 - 测试领域差异问题,实验表明将绝对词语误差率最多降低 35%。
Jul, 2017
本文提出采用交叉失真映射和域对抗训练技术对自监督学习的语音预训练模型进行知识蒸馏,以缓解性能差距问题,具有较好的性能表现。
Oct, 2022
本文讨论了如何利用未经筛选的音频数据进行自监督学习,在数据预处理到部署流式混合语音识别模型的整个过程中研究了多种不同的预训练策略,比较了近期开发的对比损失,并通过实验结果表明,利用领域内未筛选数据进行自监督学习的表现比领域外其他预训练策略要好。
May, 2022
本文提出一种用于领域自适应的方法,不需要转录数据,而是使用源域和目标域的无标记平行数据,利用教师 / 学生学习方法在目标域中训练模型,并在两种场景下进行评估,实现了显著的准确率提升,尤其是当使用模拟训练数据时,增加了模型的鲁棒性。
Aug, 2017
本文研究了在低资源环境下建立自动语音识别(ASR)系统的方法,发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响,希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。
Mar, 2022
本文综述了自监督学习在音频处理和语音处理领域中的应用,包括方法、实验和基准数据,并讨论了未来发展方向和存在的问题。
本篇论文探究了自监督学习在 3D 感知问题的领域自适应中的应用,通过提出基于形变重构的预训练任务以及一种名为 PCM 的新颖训练流程,对分类和分割的领域适应数据集进行了评估,取得了相较于现有和基准方法的巨大改进。
Mar, 2020
本文提出了一种无监督自适应错误校正方法,可以在未见过的领域中恢复由领域差异引起的语音识别错误,使用伪标记技术生成学习样本,在持续学习中以减少过度拟合,并使用编码器 - 解码器校正模型结合其他信息以进一步提高适应性,实验结果表明,该方法相对于未自适应的 ASR 系统显著降低了单词错误率,并可用于其他适应方法以带来额外的 10% 的性能提升。
Sep, 2022
本文介绍了一种方法,可以将预先训练的自我监督(SSL)语音表示转移到多种语言中,使用适配器模块加快新语言任务的预训练,并在不遗忘先前语言表示的情况下学习新的音频 - 语言表示,然后应用这些语言表示进行自动语音识别。
Jul, 2021