EMNLPOct, 2023

利用热带特征进行适配器修剪

PDF
TL;DR通过研究训练模块的热带特征，我们提出了一种适配器修剪方法，将其作为一个优化问题来修剪适配器层的参数，以便在不改变底层热带超曲面方向的同时识别出更相关的参数。我们在五个自然语言处理数据集上的实验证明，热带几何在与基于幅度的基线相比时更容易识别出需要修剪的参数，而综合方法在各个任务中表现最佳。
adapterstransfer learningparameter-efficientadapter pruningtropical geometry
发现论文，激发创造
  • 面向任务的高效剪枝适配器

    本文介绍了一种任务导向的剪枝适配器方法，可以在保持 GLUE 任务准确度的前提下，大幅提高训练和推理的内存和时间效率。

    Mar, 2023

  • NLP 的参数高效迁移学习

    通过适配器模块实现神经网络参数共享，避免针对每个任务都需要重新训练整个神经网络的问题。将适配器模块应用于 BERT Transformer 可以达到接近完全微调的性能，同时每个任务只需增加 3.6％的可训练参数，表现十分出色。

    Feb, 2019

  • 轻量级适配器调整用于多语言语音翻译

    本文为多语言语音翻译（ST）提供了适配器的完整分析，其中适配器调整在 NLP 中作为微调的高效替代品，可使 ST 针对特定语言对进行专门优化，并从自动语音识别（ASR）任务和预先训练的 mBART 模型中进行转移，同时节省大量参数，具有与完全微调相当的可比结果。

    Jun, 2021

  • 可适配的适配器

    本文提出了一种适应能力强的适配器层，不同数据集可采用不同的激活函数及适配器层，并且可选择最优的适配器层，以达到与标准适配器层相近的性能表现。这种新型适配器层可使模型的存储及训练效率更高，并能在低数据情况下取得更好的性能表现。

    May, 2022

  • SparseAdapter：一种提高 Adapter 参数效率的简单方法

    插件调整适用于预训练语言模型中；本研究基于稀疏适配器通过带放大系数的参数情况，实现了大的模型容量；通过使用 SNIP 方法和适当的系数，稀疏适配器可以始终优于对应的常规适配器，并且大稀疏设置可以获得进一步的性能提升，甚至可以大幅超过完全微调的性能。

    Oct, 2022

  • 结构化剪枝适配器

    本文提出了一种基于结构化剪枝的适配器网络结构，它使用微小参数集和结构化剪枝来加速和专门针对计算机视觉任务进行网络适配，相比于 fine-tuning 和传统剪枝方法，这种方法在减少参数的同时提升了模型准确性。

    Nov, 2022

  • 适配器效率的全面分析

    通过对多个 adapter、任务和语言在有监督和跨语言零 - shot 设置中进行广泛实验，作者发现对于自然语言理解任务，adapter 的参数效率并不会转化为与全微调一样的效率优势。同时，使用多任务训练通过全微调也能达到与 adapter 相同的可维护 / 可扩展性，而且提供相对更快的训练时间。因此，作者推荐在 NLU 任务中，从业者应该依赖于全微调或多任务训练而不是使用 adapter。

    May, 2023

  • 参数高效微调与适配器

    该研究介绍了一种新的适应方法，使用 UniPELT 框架作为基础，并添加了 PromptTuning 层，从而在保持竞争力的同时显著减少了可训练参数的数量。该方法利用适配器实现了预训练模型向新任务的有效转移，无需重新训练基础模型参数。通过对三个不同数据集进行评估，研究结果表明，该基于适配器的方法在性能上与全模型微调、DAPT+TAPT 和 UniPELT 策略相当，而需要更少或相同数量的参数。这种参数效率不仅减轻了计算负担，还加快了适应过程。该研究强调了适配器在实现高性能以及显著节约资源消耗方面的潜力，为参数高效微调的未来研究方向提供了有益的提示。

    May, 2024

  • 使用适配器的参数高效稀疏检索器和重排器

    研究了适配器在信息检索领域中的应用，指出适配器 - SPLADE 可以优化只有 2％的训练参数，比全微调模型和现有的参数高效密集 IR 模型表现更佳，并探讨了适配器在跨领域 BEIR 数据集和 TripClick 上的领域自适应，以及 正确性的知识共享，从而完善了适配器在神经 IR 中的研究。

    Mar, 2023

  • 超级适配器多语言机器翻译

    本文介绍了通过使用超适配器，克服多种语言间负面干扰和参数共享问题。研究表明，相比于传统适配器，超适配器具有更少的参数数量和更好的性能表现，且能够促进跨语言的积极转移。

    May, 2022