Feb, 2022

自监督语音模型的有效适配器传递用于自动语音识别

PDF
TL;DR本文研究使用适配器将预训练的 wav2vec 2.0 模型进行微调，以减少自动语音识别任务对参数的需求，提高模型的可扩展性和效率。应用适配器后，每个任务的参数少于 10％，性能降低很少。结果表明，通过仅向预训练网络的前几层添加适配器，就可以实现与完全迁移相似的性能，进一步优化了效率。
self-supervised learningssltransformer modelsadaptersautomatic speech recognition
发现论文，激发创造
  • 基于适配器的预训练方法用于高效可扩展的自监督语音表征学习

    本文介绍了一种方法，可以将预先训练的自我监督（SSL）语音表示转移到多种语言中，使用适配器模块加快新语言任务的预训练，并在不遗忘先前语言表示的情况下学习新的音频 - 语言表示，然后应用这些语言表示进行自动语音识别。

    Jul, 2021

  • 预训练语音模型的高效适配器调优用于自动说话人验证

    通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。

    Mar, 2024

  • 自我监督表示在自动语音识别中的高效注入

    我们提出了两种简单的方法，使用逐帧加法和交叉注意机制来高效地将自监督学习模型的表示纳入 ASR 架构，从而在训练期间避免使用自监督学习模型，加快了训练速度，并在 Librispeech 和 Tedlium 数据集上相较于基准模型实现了显著性能提升。

    Apr, 2024

  • 噪声鲁棒自动语音识别适配器探索

    应用转移学习，通过将适配器整合到神经网络中，可以有效地处理未知噪声场景，并在浅层插入适配器能够得到更好的效果。实验证明，适配器在浅层和全层适配之间没有明显的差异；在相同数据量下，真实数据比模拟数据更为有效；多条件训练对适配器训练依然有效；将适配器整合到基于语音增强的 ASR 系统中能够大幅度提高性能。

    Feb, 2024

  • 训练要有所侧重：自监督语音识别模型的针对性、可迁移对抗样本

    该论文研究了定向对抗攻击自我训练的自动语音识别模型，发现现代自我训练的自动语音识别模型容易受到对抗攻击的影响，进一步揭示了现代 ASR 体系结构的安全威胁。

    Sep, 2022

  • NLP 的参数高效迁移学习

    通过适配器模块实现神经网络参数共享，避免针对每个任务都需要重新训练整个神经网络的问题。将适配器模块应用于 BERT Transformer 可以达到接近完全微调的性能，同时每个任务只需增加 3.6％的可训练参数，表现十分出色。

    Feb, 2019

  • 探究自监督预训练模型的集成特征在自动语音识别中的应用

    本文介绍使用多个基于自监督学习的模型以及它们所提取特征的集成方法，改善语音识别任务的性能，并使用三种自监督模型 HuBERT、Wav2vec2.0 和 WaveLM 进行了实验，得到了较好的效果。

    Jun, 2022

  • 基于适配器的多种口语语言处理任务统一模型

    通过适配器微调，我们研究了开展统一模型以有效处理多个口语处理任务的潜力，并在 SUPERB 基准测试中实验证明，适配器微调使得单一的编码 - 解码模型在五个目标任务上的性能提高了 18.4％，同时在参数更新方面保持高效。

    Jun, 2024

  • 通过剩余适配器的语音表示的口音适应

    该论文提出了一种自我监督适应口音特定的噪音样本以提高自动语音识别的识别精度的方法，并在 4 个口音种类上获得了显著的词错误率降低。

    Jul, 2023

  • 前端适配器：适应基于语音的自主学习的前端输入以用于语音识别

    本文通过引入一个简单有效的前端适配器，可以使预先训练在波形上的自监督学习（SSL）模型与使用滤波器组频谱特征（Fbank）进行微调的语音识别任务兼容，实验结果表明我们提出的前端适配器对于几个流行的 SSL 模型都有效。

    Feb, 2023