Jun, 2023

自监督视觉变换器的视觉提示调优改进

HTML
PDF
TL;DRVisual Prompt Tuning (VPT) 是一种有效的方法，用于适应预训练的 Vision Transformers(ViTs) 到下游任务，我们通过插入适当的 prompt token 可以提高其效果，同时我们也提出了一种可以为每个 ViT block 学习对应的 gate，以调整其对 prompt tokens 的影响，最终在 FGVC，VTAB 和 ADE20K 数据集上表现出更好的性能。
发现论文，激发创造
  • 视觉提示调优

    该论文提出了一种名为Visual Prompt Tuning（VPT）的高效且有效的调整大规模Transformer模型的替代方案，相较于 fine-tuning，VPT仅在输入空间中引入很少的可训练参数，通过在广泛的下游识别任务上的实验，我们发现VPT在许多情况下甚至比全尺寸fine-tuning更加优秀，同时减小了每个任务的存储成本。

    Mar, 2022

  • 敏感度感知的视觉参数高效调整

    该文介绍了一种基于感知度的视觉参数调整方案（SPT），该方案可以自适应地将可训练参数分配给特定任务的重要位置，该方法可以有效降低模型存储和优化的难度，并可以取得较好的识别性能。

    Mar, 2023

  • 我们真的需要大量的视觉提示吗？

    本文研究了视觉转换器结构中 Prompt 数量对微调效果和自注意力操作的影响。通过理论和实证分析，我们发现增加 Prompt 数量并不能带来线性的性能提升。为此，我们提出 Prompt Condensation 技术来防止 Prompt 数量过多导致的性能下降，实验证明我们的方法在维持准确度的同时能减少大约 70% 的 prompts 数量。

    May, 2023

  • VPA：完全测试时间的视觉提示适应

    通过引入可学习的标记，VPA（Visual Prompt Adaptation）作为一个框架通过测试时间的自适应实现了视觉提示的普遍性，且不需要源领域信息，实验结果表明VPA有效提高了各种模型的历程泛化、抗干扰性和领域适应能力，以及对视觉-语言模型的零样本识别性能的鲁棒性改进。

    Sep, 2023

  • SA$^2$VP：空间对齐和自适应视觉提示

    通过学习二维提示令牌映射来进行图像分类的细粒度提示，以模型化输入图像的空间关系和提高有效提示能力。

    Dec, 2023

  • 面对房间里的大象：视觉提示调整还是全面微调？

    通过对19个不同数据集和任务的全面分析，我们发现Visual Prompt Tuning（VPT）在任务目标差异大或数据分布相似时表现优异，而其成功不仅仅归因于过拟合和优化，而是因为VPT保留了原始特征并添加了参数。

    Jan, 2024

  • 重访视觉调优的能量与提示

    通过关键参数的优化和初始化，我们提出了一种改进的视觉提示调整方法，用于优化预训练模型在下游任务中的性能表现，并在大量实验证明该方法在自我监督预训练适应性上取得了显著的性能改进。

    Feb, 2024

  • LSPT: 长期空间提示调整用于视觉表示学习

    长期空间提示调整 (LSPT) 是一种革命性的视觉表示学习方法，通过引入长期的门控提示，巧妙地结合了时间编码和空间编码，提高了视觉类别的区分和识别能力，同时在5个FGVC和19个VTAB-1K基准测试中展示了优于其他方法的性能。

    Feb, 2024

  • iVPT：通过跨层动态连接改进视觉提示调整中的任务相关信息共享

    最近的进展显示出了将预训练的视觉转换器应用到各种下游任务中的视觉提示调整（VPT）的巨大潜力。本文提出了一种创新的VPT方法，即iVPT，它通过从相邻层的输入提示令牌中引入跨层动态连接（CDC），实现了任务相关信息的有效共享，并采用动态聚合（DA）模块促进了层间信息的选择性共享。基于这些基础，iVPT引入了一种关注强化（AR）机制，通过自动识别显著的图像令牌，并以增加的方式与提示令牌进一步增强。对24个图像分类和语义分割基准的大量实验证明了所提出的iVPT相对于现有最先进方法的优势。

    Apr, 2024

  • OT-VP: 测试时间自适应的最优传输引导视觉提示

    Optimal Transport-guided Test-Time Visual Prompting (OT-VP) leverages prompt learning at test time to align target and source domains without altering pre-trained model parameters, achieving significant improvements in accuracy on benchmark datasets.

    Jun, 2024