Feb, 2024

噪声鲁棒自动语音识别适配器探索

PDF
TL;DR应用转移学习，通过将适配器整合到神经网络中，可以有效地处理未知噪声场景，并在浅层插入适配器能够得到更好的效果。实验证明，适配器在浅层和全层适配之间没有明显的差异；在相同数据量下，真实数据比模拟数据更为有效；多条件训练对适配器训练依然有效；将适配器整合到基于语音增强的 ASR 系统中能够大幅度提高性能。
automatic speech recognitionadapter-based noise-robust asr adaptationtransfer learningchime--4 datasetspeech enhancement-based asr systems
发现论文，激发创造
  • 神经转换器中的个性化语音识别上下文适配器

    本文提出了通过训练神经上下文适配器来实现个性化的自动语音识别（ASR）模型，并表明，相对于浅层融合方法，这种方法不依赖于外部语言模型且性能更好。

    May, 2022

  • 自监督语音模型的有效适配器传递用于自动语音识别

    本文研究使用适配器将预训练的 wav2vec 2.0 模型进行微调，以减少自动语音识别任务对参数的需求，提高模型的可扩展性和效率。应用适配器后，每个任务的参数少于 10％，性能降低很少。结果表明，通过仅向预训练网络的前几层添加适配器，就可以实现与完全迁移相似的性能，进一步优化了效率。

    Feb, 2022

  • 针对非典型和带口音语音的参数高效 ASR 适应的残差适配器

    本文阐述了在处理非典型和带有重重口音的语音时，通过添加所谓的残差适配器，可以在只更新模型的极小部分参数时实现类似于模型微调的效果，从而优化 ASR 系统的性能。

    Sep, 2021

  • 预训练语音模型的高效适配器调优用于自动说话人验证

    通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。

    Mar, 2024

  • 多语音识别中的代码切换适配器适应

    本文提出了在代码转换的语音中有效地微调大型预训练多语言语音模型的方法，并将代码转换建模为一系列潜在的二进制序列，以引导每个语言适配器在帧级别上的信息流，通过在阿拉伯语、普通话和印地语等多种语言与英语配对的数据集上的评估，显示出代码转换性能的持续改进，至少可以将语音识别错误率 (CER) 降低 10％。

    Oct, 2023

  • 干净与嘈杂语音转录的强健神经机器翻译

    本文研究如何使强 NMT 系统适应典型 ASR 错误，并提出适应策略以训练单一系统，能够在无监督输入类型的情况下翻译干净或嘈杂的输入。通过公共演讲翻译数据集的实验结果表明，对包括 ASR 转录本的大量并行数据进行调整对于相同类型的测试数据是有益的，但在翻译干净文本时会产生轻微恶化。 在干净和嘈杂数据的同一数据上进行调整可以在两种输入类型上产生最佳结果。

    Oct, 2019

  • 基于适配器的多种口语语言处理任务统一模型

    通过适配器微调，我们研究了开展统一模型以有效处理多个口语处理任务的潜力，并在 SUPERB 基准测试中实验证明，适配器微调使得单一的编码 - 解码模型在五个目标任务上的性能提高了 18.4％，同时在参数更新方面保持高效。

    Jun, 2024

  • 差分隐私适配器用于参数高效声学建模

    通过噪声教师学生模型和残余适配器的引入，本研究提出了一种参数高效的解决方案，实现跨语言语音分类器的差分隐私保护，通过在训练之前进行一次性预训练，将模型的参数数量减少了 97.5%，并且只有 4% 的性能下降。

    May, 2023

  • ADAPTERMIX：探索使用多种适配器的混合模型以提升低资源 TTS 自适应效果

    通过 “混合适配器” 方法，仅使用每个新说话者的一分钟数据，我们的方法在语音合成中提供了一种适应多样化背景说话者的有前途的解决方案，超过了基线，观察到 5％的说话者喜好测试的明显改善，并在适配器范例下只微调适配器参数（总模型参数的 11％），实现了参数高效的说话者适应，是其类别中的首个模型。

    May, 2023

  • 突破数据屏障：通过对抗稳定性训练实现鲁棒性语音翻译

    本文提出了一种通过对编码器和解码器同时采用对抗学习和数据增强，使得神经机器翻译模型更加鲁棒处理语音识别误差的训练架构，并在 IWSLT2018 语音翻译任务上实现了与自然文本几乎相当的结果，在有识别噪声的 ASR 输出上比基准系统高 2.83 个 BLEU 分数。

    Sep, 2019