$π$-Tuning: 通过最佳多任务插值传递多模式基础模型

ICMLApr, 2023

$π$-Tuning: 通过最佳多任务插值传递多模式基础模型

$π$-Tuning: Transferring Multimodal Foundation Models with Optimal Multi-task Interpolation

Chengyue Wu, Teng Wang, Yixiao Ge, Zeyu Lu, Ruisong Zhou...

TL;DR本文提出了一种用于视觉，语言和视觉语言任务的通用参数高效的迁移学习方法 Predict-Interpolate Tuning（π-Tuning），它通过学习类似任务的轻量级任务专家的参数来帮助目标下游任务，并在一个统一的无模态空间中预测任务的相似性，从而产生可缩放图表以演示任务关系。研究表明，与微调和其他参数高效的迁移学习方法相比，π-Tuning 在全射和低射击区域都具有更好的性能。

Abstract

Foundation models have achieved great advances in multi-task learning with a unified interface of unimodal and multimodal tasks. However, the potential of such multi-task learners has not been exploited during transfer

multi-task learning transfer learning parameter-efficient task similarities task transferability

发现论文，激发创造

多任务提示调整实现参数效率转移学习

我们提出了多任务提示调整（MPT）方法，该方法通过从多个特定于任务的源提示中提取知识来首先学习一个单一可传输的提示，然后学习该共享提示的乘性低秩更新，以高效地将其适应每个下游目标任务。在 23 个自然语言处理数据集上进行的广泛实验表明，我们的方法在某些情况下优于最先进的方法，包括完全微调基线方法，尽管只有 0.035％的特定于任务的参数被调整。

Mar, 2023

模式逼近生成优秀的视觉语言提示

本研究提出了 Aurora，一个优美的提示框架，用于跨模态传递，以解决模型复杂性和模态对齐问题。在六个跨模态下游基准测试中， Aurora 不仅优于最先进的方法，甚至优于完全微调方法。

May, 2023

统一视觉与语言提示学习

该研究系统研究了文本和视觉提示的参数微调方法。他们提出了一个名为 Unified Prompt Tuning (UPT) 的方法，通过学习一个微小的神经网络来联合优化跨不同模态的提示，并在 11 个视觉数据集上进行了强有力的测试，取得了较好的 few-shot learning 和 domain generalization 的效果。

Oct, 2022

多任务视觉语言提示微调

本文提出了一种多任务视觉语言提示调整（MVLPT）方法，将跨任务知识纳入提示调整算法中，其结果在 20 个视觉任务上的表现优于现有方法。

Nov, 2022

高效调节的参数即任务嵌入

本文提出了一种利用参数有效调参方法中的任务特定参数作为现成任务嵌入用于中间任务转移的方法，实验结果表明这种方法在中间任务转移预测方面始终优于现有的方法。

Oct, 2022

UniAdapter：跨模态建模的统一参数高效迁移学习

该论文提出 UniAdapter，通过部分权重共享实现单模态和多模态适配器的统一设计，从而实现在预训练的视觉语言模型上进行跨模态自适应，仅需预训练模型的 1.0％-2.0％可调参数，实现强大的跨模态表示，对于各种下游任务都有益处，并在六项跨模态下游基准测试中表现出色。

Feb, 2023

贝叶斯多任务转移学习用于软提示调优

我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。