Jan, 2024

面对房间里的大象：视觉提示调整还是全面微调？

PDF
TL;DR通过对 19 个不同数据集和任务的全面分析，我们发现 Visual Prompt Tuning（VPT）在任务目标差异大或数据分布相似时表现优异，而其成功不仅仅归因于过拟合和优化，而是因为 VPT 保留了原始特征并添加了参数。
visual prompt tuningparameter-efficient transfer learning techniquetask objectivesdata distributionsoverfitting and optimization considerations
发现论文，激发创造
  • 视觉提示调优

    该论文提出了一种名为 Visual Prompt Tuning（VPT）的高效且有效的调整大规模 Transformer 模型的替代方案，相较于 fine-tuning，VPT 仅在输入空间中引入很少的可训练参数，通过在广泛的下游识别任务上的实验，我们发现 VPT 在许多情况下甚至比全尺寸 fine-tuning 更加优秀，同时减小了每个任务的存储成本。

    Mar, 2022

  • E^2VPT: 一种有效高效的图像提示调整方法

    提出了一种有效和高效的视觉提示调整 (E^2VPT) 方法来实现大规模基于 Transformer 的模型适应，该方法通过引入一组可学习的键值提示和视觉提示分别到自注意力和输入层，以提高模型微调的效果，并设计了提示修剪程序来系统地修剪低重要性的提示，同时保持模型性能，极大地提升了模型的效率。实证结果表明，我们的方法在两个基准测试上优于几种最先进的基线模型，并且参数使用非常低 (例如，在 VTAB-1k 上，模型参数的 0.32%)。

    Jul, 2023

  • PVP：预训练的视觉参数高效微调

    本研究提出了一种基于先前训练模型的视觉快速参数调整 (PVP) 框架，可有效降低由于高计算和存储成本带来的计算和存储成本，并在低数据环境下实现优异的结果，特别是在贫瘠的视觉分类领域中。

    Apr, 2023

  • 重访视觉调优的能量与提示

    通过关键参数的优化和初始化，我们提出了一种改进的视觉提示调整方法，用于优化预训练模型在下游任务中的性能表现，并在大量实验证明该方法在自我监督预训练适应性上取得了显著的性能改进。

    Feb, 2024

  • 我们真的需要大量的视觉提示吗？

    本文研究了视觉转换器结构中 Prompt 数量对微调效果和自注意力操作的影响。通过理论和实证分析，我们发现增加 Prompt 数量并不能带来线性的性能提升。为此，我们提出 Prompt Condensation 技术来防止 Prompt 数量过多导致的性能下降，实验证明我们的方法在维持准确度的同时能减少大约 70% 的 prompts 数量。

    May, 2023

  • 自监督视觉变换器的视觉提示调优改进

    Visual Prompt Tuning (VPT) 是一种有效的方法，用于适应预训练的 Vision Transformers (ViTs) 到下游任务，我们通过插入适当的 prompt token 可以提高其效果，同时我们也提出了一种可以为每个 ViT block 学习对应的 gate，以调整其对 prompt tokens 的影响，最终在 FGVC，VTAB 和 ADE20K 数据集上表现出更好的性能。

    Jun, 2023

  • DVPT：面向医学图像分析的大型预训练模型的动态视觉提示调优

    通过引入动态视觉提示调整方法，本研究提出了一种适应多样的医学图像输入变化的参数高效微调方法，命名为 DVPT，该方法从大模型中提取有益于下游任务的知识，可通过仅使用少量可训练参数从零开始训练医学图像分析模型。

    Jul, 2023

  • 动态视觉提示调整用于参数高效的迁移学习

    参数有效的迁移学习 (PETL) 是一个新兴的研究领域，旨在将大规模预训练模型适应下游任务。我们提出了一个动态视觉提示调整框架 (DVPT)，可以为每个图像生成动态的实例级标记，以捕捉每个图像的独特视觉特征，从而更适合下游视觉任务。通过对广泛的下游识别任务进行实验，我们发现 DVPT 方法在性能上优于其他 PETL 方法，甚至在 19 个下游任务中有 17 个超越了完全微调的性能，同时保持了高参数效率。

    Sep, 2023

  • Pro-tuning: 视觉任务统一提示微调

    该论文提出了基于 prompt 调节（Prompt tuning，Pro-tuning）的方法来替代 fine-tuning，适应于各种冻结视觉模型到不同的下游视觉任务。实验结果表明，这种方法在图像分类和密集预测任务方面表现优于 fine-tuning。

    Jul, 2022

  • 基于声明的提示调整技术用于视觉问答

    该论文提出了一种名为 DPT 的创新型视觉语言模型微调范式，它通过文本调整和任务调整重新定义视觉问题的目标函数形式来共同优化 VQA 模型的预训练和微调目标，以提高预训练 VL 模型对于下游任务的有效适应性，实验结果表明，DPT 在准确性方面显著优于微调对应物，无论是在完全监督（2.68％）还是零射击 / 少射击（超过 31％）的情况下。

    May, 2022