Jun, 2022

利用自我监督提升跨域语音识别能力

PDF
TL;DR本文提出了一种系统的无监督领域自适应框架，利用自监督方法在预训练和微调范式中充分利用无标签数据，在解决提高自监督方法在异领域性能的同时，通过提出三种创新性的调整方法，有效地提高了自适应领域的性能。
automatic speech recognitionunsupervised domain adaptationself-supervised learningpseudo-labelingcross-domain performance
发现论文，激发创造
  • 自监督语音表示域适应微调的自动数据增强

    本篇论文提出一种用于有声学领域差异的监督领域自适应方法，通过数据增强来减小源域和目标域的差异，并在初步微调阶段使用，证明了该方法的有效性。

    Jun, 2023

  • 无监督领域自适应语音识别与无监督错误校正

    本文提出了一种无监督自适应错误校正方法，可以在未见过的领域中恢复由领域差异引起的语音识别错误，使用伪标记技术生成学习样本，在持续学习中以减少过度拟合，并使用编码器 - 解码器校正模型结合其他信息以进一步提高适应性，实验结果表明，该方法相对于未自适应的 ASR 系统显著降低了单词错误率，并可用于其他适应方法以带来额外的 10% 的性能提升。

    Sep, 2022

  • 无监督域自适应的语义分割研究及伪标记自我修正

    基于深度学习的解决方案如何在面对与训练数据不同特征的情况下，语义分割会有性能下降的问题，针对此问题提出了一种无监督领域适应的方法，利用辅助伪标签优化网络进行自训练，实验结果表明这种方法在基准数据集上的表现显著优于之前的最先进方法.

    Oct, 2023

  • 基于熵导向的自监督学习用于语义分割领域自适应

    使用熵作为置信度指标的熵引导自监督学习 (ESL) 方法，在无监督域自适应语义分割任务中实现了最先进的结果。

    Jun, 2020

  • 基于实例自适应技术的无监督领域自适应自训练

    本文提出了一种基于实例适应的自我训练框架，应用于语义分割的无监督域自适应问题，该方法采用了一种新的伪标签生成策略和区域引导正则化方法，以在 'GTA5 to Cityscapes' 和 'SYNTHIA to Cityscapes' 数据集上的任务中获得更好的性能表现。

    Aug, 2020

  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

    Mar, 2022

  • 基于类平衡自训练的语义分割领域自适应

    本文提出了一种基于迭代自训练的无监督域自适应框架，在自训练的基础上提出了一种新的类平衡自训练框架，并引入了空间先验来改善生成的标签。综合实验表明，所提出的方法在多个主要 UDA 设置下均实现了最先进的语义分割性能。

    Oct, 2018

  • 自监督对比学习与自训练在语义分割的无监督领域自适应中的应用

    本文提出了一种基于对比学习和自我训练的方法，该方法可以很好地应用于不同领域的实例进行语义分割，可以将语义类别在跨域上进行对齐，从而达到更好的结果。

    May, 2021

  • 使用强大的自学方法适应不同语言和领域的预训练语言模型特征

    本研究中，我们探究了将预训练语言模型（PrLMs）特征适应新域的方法，而非像以往一样对其进行精细调整。我们提出了面向无监督域适应 (UDA) 的类感知特征自蒸馏（CFd）算法，能够有效地提高跨领域和跨语言设置下的模型稳健性。

    Sep, 2020

  • 自助学习语音表示的剪枝辅助域适应

    本文提出了一种名为 PADA 的方法，其中通过修剪已预训练在大量跨领域（OOD）数据上的模型中的冗余权重，帮助目标领域 ASR 微调。通过各种修剪策略的比较研究，本文探讨了基于任务对称和不对称修剪对 PADA 的影响，并提出了一种称为基于交叉领域任务感知修剪（CD-TAW）的新的修剪范式。CD-TAW 可以获得来自精细调整的 OOD 模型的初始修剪掩模。实验表明，CD-TAW 方法在没有语言模型解码的 Switchboard 数据的 2 小时子集上进行微调时相对 WER 提高了最多 20.6％。

    Mar, 2022