Point-PEFT: 3D 预训练模型的参数高效微调
提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法(PEFT)框架,它通过 LoRA、BitFit 和 IA3 等技术,在几乎不需要可训练参数和 GPU 内存的情况下,展示了与预训练模型完全微调相当的性能,然而,在多模态微调中,经常需要进行架构修改或完全微调。为了解决这个问题,我们提出了 Context-PEFT,它根据令牌的领域学习不同的适配器参数组,这种方法使得可以实现类似 LoRA 的权重注入,而不需要额外的架构修改。我们的方法在 COCO 字幕任务上进行评估,在类似的数据限制下,优于完全微调,并同时提供了更高的参数效率和计算经济性的解决方案。
Dec, 2023
规模化预训练视觉模型(PVMs)在各种下游视觉任务中表现出很大的适应性。然而,随着最先进的 PVMs 达到数十亿甚至数万亿参数,传统的完全微调范式变得难以持续,因为其需要巨大的计算和存储需求。为了应对这一挑战,研究人员正在探索参数高效的微调(PEFT),旨在通过最小的参数修改超越完全微调的性能。本调查提供了对视觉 PEFT 的综合概述和未来方向,对最新的进展进行了系统回顾。首先,我们提供了 PEFT 的正式定义,并讨论了模型预训练方法。然后,我们将现有方法分为三类:基于添加的、基于部分的和基于统一的。最后,我们介绍了常用的数据集和应用,并提出了未来研究的潜在挑战。所有相关资源可以在该链接中找到。
Feb, 2024
通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容,该论文对大模型在计算成本方面的问题进行了综述,提供了对性能和系统实施的深入洞察,为研究人员了解最新发展和实际应用提供了不可或缺的资源。
Mar, 2024
本文通过全面实证研究发现,适当的 Tuning 数量的 Parameter-efficient fine-tuning methods,特别是使用了嵌入小型前馈神经网络 (adapters) 的模型,可以在机器翻译 (MT) 任务上达到效果与全模型调整类似的水平,尤其当参数预算为 10%的情况下。但是,当调优参数数量减少时,PEFT 的性能会随之减弱,这一降低幅度取决于语言对的关系,而对于小型数据集,PEFT 的性能优于同样的预训练模型的全模型调整。
May, 2022
本文提出了一种任务不可知的生成稀疏掩码的方法,仅使用预训练参数的振幅信息,可以显著提高性能和存储效率,并引入了一种新颖的适配器技术,可以直接应用于预训练参数,与全细调速度相同。
May, 2023
评估了 Parameter Efficient Fine-Tuning 方法在深度学习中的有效性,以减轻计算负担、提高训练速度和降低内存使用,从而推动深度学习的更广泛应用和模型优化的创新。
Apr, 2024
引入 X-PEFT,一种新的参数高效微调方法,通过微调极小的紧凑张量,作为二进制掩码来自适应地选择给定适配器,从而解决适配器数量线性增加的问题,相较于传统的适配器微调,在每个配置文件的内存需求减少了 10000 倍,而在 LaMP 和 GLUE 任务中表现出与传统适配器微调相当或超越的效果。
Jan, 2024
提出了一种新的 fine-tuning 框架,名为 GIST,通过引入 Gist token 和知识交互的概念,增强了 PEFT 方法在下游任务中的性能,进一步提升了预训练模型对下游任务的理解能力。
Dec, 2023
Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory usage, and comparable performance to standard PEFT.
Jun, 2024