本研究提出一个新的模型 Prompt-Adapter,将预训练的提示调整与高效自适应网络相结合,用于高效的视觉 - 语言模型适应过程,超过公共数据集中少量数据情况下的现有方法,在此基础上,探讨了多任务预训练初始化与 prompt tuning 相结合的思想。
Mar, 2023
该论文提出了基于 prompt 调节(Prompt tuning,Pro-tuning)的方法来替代 fine-tuning,适应于各种冻结视觉模型到不同的下游视觉任务。实验结果表明,这种方法在图像分类和密集预测任务方面表现优于 fine-tuning。
Jul, 2022
使用 ADAPT 框架对 Vision Transformers 进行参数高效提示调优,实现对下游任务的鲁棒性训练,从而在只调优了约 1% 的参数数量的情况下,实现与完全模型微调相当的鲁棒准确率(约 40%).
Mar, 2024
该论文提出了一种名为 Visual Prompt Tuning(VPT)的高效且有效的调整大规模 Transformer 模型的替代方案,相较于 fine-tuning,VPT 仅在输入空间中引入很少的可训练参数,通过在广泛的下游识别任务上的实验,我们发现 VPT 在许多情况下甚至比全尺寸 fine-tuning 更加优秀,同时减小了每个任务的存储成本。
Mar, 2022
该研究系统研究了文本和视觉提示的参数微调方法。他们提出了一个名为 Unified Prompt Tuning (UPT) 的方法,通过学习一个微小的神经网络来联合优化跨不同模态的提示,并在 11 个视觉数据集上进行了强有力的测试,取得了较好的 few-shot learning 和 domain generalization 的效果。
Oct, 2022
本研究提出了一种名为 “Approximated Prompt Tuning” 的方法,用以提高视觉语言预训练模型的迁移学习效率,其基于软提示令牌的独立信息扩散步骤,从而有效地避免了昂贵的全局关注建模,并显著降低了计算复杂度。
Jun, 2023
本研究提出了一种基于先前训练模型的视觉快速参数调整 (PVP) 框架,可有效降低由于高计算和存储成本带来的计算和存储成本,并在低数据环境下实现优异的结果,特别是在贫瘠的视觉分类领域中。
Apr, 2023
通过重新参数化低秩提示(RLP),我们设计了一种新型提示,用于高效和有效地适应基于视觉和语言的模型,并显著增加了传统提示调整的平均下游准确性,仅使用 0.5K 的参数。
Dec, 2023
通过视觉提示来适应视觉中的大规模模型,这种方法在适应预先训练模型方面非常有效。
本文探讨了基于视觉转换器(vision transformers)进行生成性知识转移的方法,通过引入可学习的提醒(prompt)标记和设计,成功地实现了良好的图像生成质量和知识转移。