Dec, 2023

分割与合并：通过稀疏训练释放视觉适配器的潜力

PDF
TL;DR通过提出混合稀疏适配器（MoSA）作为一种新颖的适配器调整方法，旨在充分发挥每个适配器参数的潜力，本研究对一系列 27 个视觉任务进行了广泛实验证明，MoSA 始终比其他适配器调整方法和基准线方法表现更好，并在低资源和多任务设置的两个具有挑战性的场景中展现了令人满意的结果。
发现论文，激发创造
  • SparseAdapter：一种提高 Adapter 参数效率的简单方法

    插件调整适用于预训练语言模型中；本研究基于稀疏适配器通过带放大系数的参数情况，实现了大的模型容量；通过使用 SNIP 方法和适当的系数，稀疏适配器可以始终优于对应的常规适配器，并且大稀疏设置可以获得进一步的性能提升，甚至可以大幅超过完全微调的性能。

    Oct, 2022

  • 通过适配器的软混合高效微调音频频谱变换器

    本论文旨在探索 Mixture of Experts（MoE）在参数高效微调音频光谱变换器用于音频和语音下游任务时的应用，提出了基于适配器的软混合专家方法（Soft-MoA），通过将输入令牌和专家之间进行软分配，不仅保持了计算时间的限制，而且在四项基准测试中表现出了优异的性能，并且与密集 MoA 方法相媲美。实验还验证了 Soft-MoA 的关键组成部分，例如更多的专家可以实现更好的扩展性，并确保所有专家都对输出令牌的计算做出贡献，从而消除了专家不平衡问题。

    Feb, 2024

  • 用于跨语言迁移的可组合稀疏微调

    本研究提出了一种新的微调方法，使用模板细分，减少模型参数，并结合多种语言的神经网络，取得了优于适配器微调的零 - shot 跨语言转移性能。

    Oct, 2021

  • SMoA: 减轻多个数据集偏见的稀疏适配器混合

    通过提出稀疏的自适应器混合 (SMoA) 方法，可以更有效地解决多个数据集的偏差，进而提高自然语言推理和近义词鉴定任务的表现，并且 SMoA 方法的可解释性有助于捕捉训练数据中的特定模式并用来处理特定的偏差。

    Feb, 2023

  • MerA：合并预训练适配器进行弱监督学习

    通过模型融合，将预训练适配器高效地整合到单一模型，以提高适配器调优的性能，特别是在少样本学习中，相对于单个适配器和网络融合方法，所提出的 MerA 方法在两个预训练语言模型上实现了显著的性能提升，并通过引入 “同路径” 设置进一步增加了模型的容量，取得了超越全微调和适配器调优的表现。

    Aug, 2023

  • Adapter-X: 一个新颖的面向视觉的普适参数高效微调框架

    Adapter-X 是一种新的框架，通过参数共享和动态分配，以及引入特定设计来提高适应性，在更少的参数下优于传统的微调方法。

    Jun, 2024

  • 参数高效稀疏构建：从密集到专家组的混合用于一般任务上的指令调整

    通过稀疏模型结构和专家混合的方法，我们提出了一种名为 PESC 的新方法，使得模型能够在指令调整阶段扩展容量，从而在多个任务上提高性能，并且通过最小化参数增加量来降低计算成本和 GPU 内存要求。实验证明，使用 PESC 的稀疏模型在功能上优于其他开源稀疏模型并且比 GPT3.5 具有更优秀的整体性能。

    Jan, 2024

  • 适配器是调整视觉任务所需的全部

    通过引入多个适合视觉信号处理的视觉友好滤波器和缩放归一化层，提出了一种名为 Mona 的多认知视觉适配器调谐方法，该方法超越了全面微调在实例分割和语义分割任务上的性能，并适用于多个代表性的视觉任务。

    Nov, 2023

  • 通过稀疏插值专家释放元调优的强大力量，以实现少样本泛化

    通过稀疏化混合专家方法，稀疏元调优成功地提高了视觉基础模型的迁移能力，并在零阶和基于梯度的适应环境中建立了新的最先进的结果。

    Mar, 2024

  • 预训练语音模型的高效适配器调优用于自动说话人验证

    通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。

    Mar, 2024