Feb, 2024

LSPT: 长期空间提示调整用于视觉表示学习

PDF
TL;DR长期空间提示调整 (LSPT) 是一种革命性的视觉表示学习方法，通过引入长期的门控提示，巧妙地结合了时间编码和空间编码，提高了视觉类别的区分和识别能力，同时在 5 个 FGVC 和 19 个 VTAB-1K 基准测试中展示了优于其他方法的性能。
visual prompt tuningvitsself-supervised vision transformerslong-term spatial prompt tuninglspt
发现论文，激发创造
  • 自监督视觉变换器的视觉提示调优改进

    Visual Prompt Tuning (VPT) 是一种有效的方法，用于适应预训练的 Vision Transformers (ViTs) 到下游任务，我们通过插入适当的 prompt token 可以提高其效果，同时我们也提出了一种可以为每个 ViT block 学习对应的 gate，以调整其对 prompt tokens 的影响，最终在 FGVC，VTAB 和 ADE20K 数据集上表现出更好的性能。

    Jun, 2023

  • 重访视觉调优的能量与提示

    通过关键参数的优化和初始化，我们提出了一种改进的视觉提示调整方法，用于优化预训练模型在下游任务中的性能表现，并在大量实验证明该方法在自我监督预训练适应性上取得了显著的性能改进。

    Feb, 2024

  • LSTP：语言引导的时空提示学习长文 视频文本理解

    通过引入一种名为语言导向的时空提示学习（LSTP）的新方法，利用时间信息高效提取相关视频内容，并巧妙捕捉视觉和文本元素之间的复杂空间关系，从而显著提高计算效率、时间理解和时空对齐，通过两个挑战性任务的实证评估，证明了我们提出的 LSTP 范型在视频问答和视频中的时间问题定位方面具有卓越的性能、速度和多功能性。

    Feb, 2024

  • 视觉提示调优

    该论文提出了一种名为 Visual Prompt Tuning（VPT）的高效且有效的调整大规模 Transformer 模型的替代方案，相较于 fine-tuning，VPT 仅在输入空间中引入很少的可训练参数，通过在广泛的下游识别任务上的实验，我们发现 VPT 在许多情况下甚至比全尺寸 fine-tuning 更加优秀，同时减小了每个任务的存储成本。

    Mar, 2022

  • 我们真的需要大量的视觉提示吗？

    本文研究了视觉转换器结构中 Prompt 数量对微调效果和自注意力操作的影响。通过理论和实证分析，我们发现增加 Prompt 数量并不能带来线性的性能提升。为此，我们提出 Prompt Condensation 技术来防止 Prompt 数量过多导致的性能下降，实验证明我们的方法在维持准确度的同时能减少大约 70% 的 prompts 数量。

    May, 2023

  • 用于视觉语言预训练模型的近似提示调优

    本研究提出了一种名为 “Approximated Prompt Tuning” 的方法，用以提高视觉语言预训练模型的迁移学习效率，其基于软提示令牌的独立信息扩散步骤，从而有效地避免了昂贵的全局关注建模，并显著降低了计算复杂度。

    Jun, 2023

  • E^2VPT: 一种有效高效的图像提示调整方法

    提出了一种有效和高效的视觉提示调整 (E^2VPT) 方法来实现大规模基于 Transformer 的模型适应，该方法通过引入一组可学习的键值提示和视觉提示分别到自注意力和输入层，以提高模型微调的效果，并设计了提示修剪程序来系统地修剪低重要性的提示，同时保持模型性能，极大地提升了模型的效率。实证结果表明，我们的方法在两个基准测试上优于几种最先进的基线模型，并且参数使用非常低 (例如，在 VTAB-1k 上，模型参数的 0.32%)。

    Jul, 2023

  • CPT：用于预训练视觉语言模型的彩色提示调节

    该研究提出 Cross-modal Prompt Tuning，一种基于图像和文本的填空问题的视觉定位模型调参范式，能够在少量标记数据下使模型具有强大的零样本或少样本学习能力，实现了视觉与语言的理解与应用。

    Sep, 2021

  • SA$^2$VP：空间对齐和自适应视觉提示

    通过学习二维提示令牌映射来进行图像分类的细粒度提示，以模型化输入图像的空间关系和提高有效提示能力。

    Dec, 2023

  • 面对房间里的大象：视觉提示调整还是全面微调？

    通过对 19 个不同数据集和任务的全面分析，我们发现 Visual Prompt Tuning（VPT）在任务目标差异大或数据分布相似时表现优异，而其成功不仅仅归因于过拟合和优化，而是因为 VPT 保留了原始特征并添加了参数。

    Jan, 2024