Dec, 2023

Context-PEFT: 高效多模态、多任务微调

HTML
PDF
TL;DR提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过LoRA、BitFit和IA3等技术，在几乎不需要可训练参数和GPU内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似LoRA的权重注入，而不需要额外的架构修改。我们的方法在COCO字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。
发现论文，激发创造
  • 非侵入式调整：面向输入的参数高效微调用于多模态建模

    参数效率微调（PEFT）是应对大型语言模型的适应和服务挑战的一种有前景的方法，本研究中描述了一种非侵入式的PEFT技术AdaLink，并在各种任务中与最先进的侵入式PEFT（LoRA）和全模型微调（FT）相比表现出有竞争力的性能。

    Oct, 2023

  • 面向更高参数效率的大语言模型微调：一篇立场论文

    该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新PEFT架构、不同学习设置的PEFT、结合模型压缩技术的PEFT以及多模态LLMs的PEFT探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕LLMs的更高效和可访问的PEFT的讨论。

    Nov, 2023

  • X-PEFT：面向极端多个配置的极其参数高效微调

    引入X-PEFT，一种新的参数高效微调方法，通过微调极小的紧凑张量，作为二进制掩码来自适应地选择给定适配器，从而解决适配器数量线性增加的问题，相较于传统的适配器微调，在每个配置文件的内存需求减少了10000倍，而在LaMP和GLUE任务中表现出与传统适配器微调相当或超越的效果。

    Jan, 2024

  • 视觉语言预训练模型参数高效微调的实证研究

    最近的研究应用了参数高效微调技术（PEFTs）来有效缩小预训练和下游任务之间的性能差距。该研究发现，对于与预训练一致的下游微调任务，数据规模不再影响性能，而可微参数规模的影响并不单调，这种观察可指导PEFTs的训练策略选择。

    Mar, 2024

  • 引入路由功能以低秩瓶颈优化视觉语言参数高效微调

    针对视觉-语言（VL）任务的参数高效微调方法，使用名为路由函数的操作在低秩瓶颈中增强了VL对齐，极大地改善了原始PEFT方法在各种VL PEFT设置中的表现，包括20%的提升（在VQAv2上）和30%的提升（在COCO Captioning上），同时也在多种VL PEFT任务中对预训练的多模态模型（如CLIP-BART）进行微调时观察到了较小但一致的改进。

    Mar, 2024

  • 参数高效微调：跨应用全面分析

    评估了Parameter Efficient Fine-Tuning方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。

    Apr, 2024

  • Light-PEFT: 轻量级参数高效微调通过早期修剪

    Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory usage, and comparable performance to standard PEFT.

    Jun, 2024

  • 大模型中的参数高效微调：方法论综述

    本论文解决了在硬件资源有限的情况下，如何对大型模型进行有效微调的问题。提出了参数高效微调（PEFT）方法，通过高效调整预训练大模型的参数，以适应特定任务，减少额外参数和计算资源的需求。研究表明，PEFT方法可加速大模型在下游任务中的应用，推动其发展与创新。

    Oct, 2024

  • 大模型中的参数高效微调：方法论综述

    本研究针对大模型在特定下游任务微调中的计算和存储成本问题，提出了参数高效微调（PEFT）的方法。PEFT通过高效调整预训练大模型的参数，降低了额外参数引入和计算资源的需求。本综述重点介绍了PEFT的基础知识、核心思想和不同算法的应用，以及未来的研究方向，旨在加速PEFT的发展与创新。

    Oct, 2024

  • 保存预训练表示空间：大型多模态模型中前缀调优的有效性

    本文探讨了大型多模态模型（LMMs）的参数高效微调（PEFT）方法，尤其是前缀调优如何在保留预训练表示空间方面表现优异。研究表明，传统的调优方法如LoRA和Adapters会扭曲预训练时学习的特征表示空间，而前缀调优能更好地保持这种表示，提出的前缀调优PEFT（PT-PEFT）策略显著提升了图像描述和视觉问答任务的性能。

    Oct, 2024