基于层次循环适配器的大规模语音模型的高效多任务适应

Mar, 2024

基于层次循环适配器的大规模语音模型的高效多任务适应

Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models

Tsendsuren Munkhdalai, Youzheng Chen, Khe Chai Sim, Fadi Biadsy, Tara Sainath...

TL;DR参数高效的适应方法在训练大型预训练模型进行下游任务时已成为关键机制，我们引入一种适应器模块，它在大规模多任务适应情景中具有更好的效率，适应器具有层次分配适应器参数的特点，通过单个共享的控制器网络和多个任务级适应器头减少每个任务的参数开销，同时避免对下游任务的性能衰退，适应器也是循环的，因此整个适应器参数在预训练模型的不同层之间被重复使用，我们的分层循环适应器 (HRA) 在自动语音识别任务上在单任务和多任务适应设置中表现优于之前的基于适应器的方法和完整模型微调基准线。

Abstract

parameter efficient adaptation methods have become a key mechanism to train large pre-trained models for downstream tasks. However, their per-task parameter overhead is considered still high when the number of downstream tasks to adapt for is large. We introduce an →

parameter efficient adaptation methods adapter module multi-task adaptation hierarchical recurrent adapter automatic speech recognition

发现论文，激发创造

Hydra：多头低秩适应，参数高效微调

该论文研究了一种名为 Hydra 的适应方法，它基于并行和顺序适应支路学习到了新的和通用的特征，在 fine-tuning 过程中能够探索更广泛的最优点范围。此外，该方法还利用预训练权重经过线性组合来明确 leverages the pre-trained weights 的适应方法，并改善了学习特征在不同下游任务中的泛化性能。通过一系列实验证明了 Hydra 方法的高效性和卓越性能，并展示了它在各种应用中的潜在影响和效果。

Sep, 2023

NLP 的参数高效迁移学习

通过适配器模块实现神经网络参数共享，避免针对每个任务都需要重新训练整个神经网络的问题。将适配器模块应用于 BERT Transformer 可以达到接近完全微调的性能，同时每个任务只需增加 3.6％的可训练参数，表现十分出色。

Feb, 2019

基于适配器的多种口语语言处理任务统一模型

通过适配器微调，我们研究了开展统一模型以有效处理多个口语处理任务的潜力，并在 SUPERB 基准测试中实验证明，适配器微调使得单一的编码 - 解码模型在五个目标任务上的性能提高了 18.4％，同时在参数更新方面保持高效。

Jun, 2024

预训练语音模型的高效适配器调优用于自动说话人验证

通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。

Mar, 2024

基于原型的超适配器用于高效的多任务调优

基于 Protoype 的 HyperAdapter（PHA）是一个建立在 adapter-tuning 和超网络的新框架，它采用实例密集检索器和原型超网络以更有效地生成条件模块，从而在多任务学习和少样本迁移学习中与现有的参数有效微调（PEFT）方法相比具有可比较的性能改进，并在数据规模较小时，与其他强基准相比，取得了显著的优势。基于对各种数据集的大量实证实验，我们证明 PHA 在可训练参数、模型精度和样本效率之间取得了更好的平衡。

Oct, 2023

VMT-Adapter: 多任务强化学习的参数高效迁移学习

大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理效率与任务数量近似为 O (1)。具体而言，VMT-Adapter 通过共享多个任务的知识来增强跨任务交互，并通过独立知识提取模块保留了任务特定的知识。此外，本文还提出了 VMT-Adapter-Lite，通过学习下投影和上投影之间的共享参数来进一步减少可训练参数。对四个密集场景理解任务的大量实验证明了 VMT-Adapter (-Lite) 的优越性，相比于单一任务的全面微调，它们分别实现了 3.96%（1.34%）的相对改进，并仅利用了预训练模型的约 1%（0.36%）的可训练参数。

Dec, 2023

针对非典型和带口音语音的参数高效 ASR 适应的残差适配器

本文阐述了在处理非典型和带有重重口音的语音时，通过添加所谓的残差适配器，可以在只更新模型的极小部分参数时实现类似于模型微调的效果，从而优化 ASR 系统的性能。

Sep, 2021

共享超网络的 Transformer 多任务微调的参数高效方法

本文提出了一种通过使用共享的超网络生成适配器参数来学习所有层和任务的参数高效的多任务学习框架，从而在跨任务共享知识的同时，通过任务特定的适配器使模型适应每个单独的任务，并在已知的 GLUE 基准测试中实现了多任务学习的改进性能。

Jun, 2021

超级适配器多语言机器翻译

本文介绍了通过使用超适配器，克服多种语言间负面干扰和参数共享问题。研究表明，相比于传统适配器，超适配器具有更少的参数数量和更好的性能表现，且能够促进跨语言的积极转移。

May, 2022

基于神经架构搜索的级联多任务自适应学习

利用神经架构搜索（NAS）框架提出一种自动且有效的自适应学习方法来优化端到端级联多任务模型，通过在每个特定模块上选择冻结、插入适配器和微调等候选自适应操作，并在损失函数中添加了一个惩罚项限制学习结构，成功地压缩优化参数至相当于全微调的 8.7% 并获得更好的性能。

Oct, 2023