ACLOct, 2021

UniPELT: 一种统一的参数效率语言模型调节框架

PDF
TL;DR该研究提出了 UniPELT 框架，将不同的 PELT 方法作为子模块，并学习通过门控机制激活最适合当前数据或任务设置的子模块。在 GLUE 基准测试中，UniPELT 相对于其单独包含的最佳 PELT 方法都能够获得 1-4％的收益，并甚至在不同设置下优于 fine-tuning。此外，UniPELT 通常超过单个子模块在每个任务上单独使用的最佳性能上界，表明多个 PELT 方法的混合可能本质上更有效。
parameter-efficient language model tuningpelt methodsunipeltgating mechanismglue benchmark
发现论文，激发创造
  • 参数高效微调与适配器

    该研究介绍了一种新的适应方法，使用 UniPELT 框架作为基础，并添加了 PromptTuning 层，从而在保持竞争力的同时显著减少了可训练参数的数量。该方法利用适配器实现了预训练模型向新任务的有效转移，无需重新训练基础模型参数。通过对三个不同数据集进行评估，研究结果表明，该基于适配器的方法在性能上与全模型微调、DAPT+TAPT 和 UniPELT 策略相当，而需要更少或相同数量的参数。这种参数效率不仅减轻了计算负担，还加快了适应过程。该研究强调了适配器在实现高性能以及显著节约资源消耗方面的潜力，为参数高效微调的未来研究方向提供了有益的提示。

    May, 2024

  • 一种简单而有效的可插拔式实体查找表应用于预训练语言模型

    本文提出了一种 PELE 方法，通过聚合出现在大规模语料库中的实体的输出表示，能够将相关语料库中的实体知识灵活有效地传输到具有不同架构的预训练语言模型中，只需要 0.2%-5% 的预计算能够在域自适应场景中从域外语料库获取知识，实验表明该方法比以前的知识增强预训练语言模型更为优秀。

    Feb, 2022

  • HyperPELT：统一参数高效的语言模型调整，适用于语言和视觉语言任务

    本文提出一种基于预训练的参数高效迁移学习框架，使用共享的超网络对预训练语言模型进行微调，支持语言和视觉任务，并在多任务学习中具有较好的性能和转移能力。

    Mar, 2022

  • 多模态大语言模型参数高效微调的实证研究

    使用四种常见的 PEFT 方法对开源 MLLMs 的 LLM 组件进行微调，比较它们在参数效率方面的表现，结果显示 adapter 是效果最好的 PEFT 方法。

    Jun, 2024

  • 预训练语言模型的参数高效微调方法：关键评估与考察

    预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

    Dec, 2023

  • 低资源语言翻译的参数高效微调解锁

    参数高效微调方法在适应多样化任务的大规模预训练语言模型中变得越来越重要，通过在资源有限的语言机器翻译中提高翻译准确性来实现适应性和计算效率的平衡。通过使用 SacréBLEU 评分，我们进行了具备不同资源和域的全面实证实验，评估了共计 15 种架构的 8 种参数高效微调方法的性能。结果表明，6 种参数高效微调架构在域内和域外测试中均超过了基准线，其中 Houlsby+Inversion 适配器表现最佳，验证了参数高效微调方法的有效性。

    Apr, 2024

  • 参数高效的长尾识别

    通过引入 PEL 方法，该研究通过少于 20 个时期的微调，无需额外数据即可适应长尾识别任务，并通过在分类器初始化中采用 CLIP 文本编码器的新颖技术解决了过度拟合问题，从而持续优于之前的最佳方法。

    Sep, 2023

  • Light-PEFT: 轻量级参数高效微调通过早期修剪

    Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory usage, and comparable performance to standard PEFT.

    Jun, 2024

  • UniPT: 通用并行调优的高效参数和内存迁移学习

    提出了一种名为 Universal Parallel Tuning (UniPT) 的新型内存高效 PETL 策略，通过轻量级的可学习并行网络进行传输过程，减少内存消耗，并在不同架构上在低内存场景下实现更高的性能。

    Aug, 2023

  • PEMT：多任务相关导引的专家组合混合使得参数高效迁移学习

    我们提出了一种基于多任务迁移学习的新型参数高效微调框架 (PEMT)，通过在源任务上训练适配器的加权组合来捕捉可转移的知识，同时利用任务描述提示向量来衡量目标任务与每个源任务之间的相关性，以充分利用任务特定的知识并提高稀疏性。实验证明，我们的方法在各种任务上相较于完全微调、PEFT 和知识转移方法都取得了稳定的改进，突出了其能够充分利用多任务之间的知识和相关特征的有效性。

    Feb, 2024