Oct, 2023

AutoVP：自动视觉提示框架与基准

HTML
PDF
TL;DR以視覺提示（VP）作為研究對象，本文提出了AutoVP框架，用於自動化VP設計選擇，同時評估其性能。通過對12個下游圖像分類任務進行綜合性能評估，實驗結果顯示AutoVP優於當前已知VP方法，並提供了高達6.7％的準確率改進和最高27.5％的性能增益。
发现论文，激发创造
  • 理解与改善视觉提示：标签映射视角

    本论文讨论了思考视觉提示、标签映射和迁移学习等一系列问题，提出了ILM-VP和CLIP-VP等新的提示方法，并在多个数据集上实现了进一步提升精度的效果。

    Nov, 2022

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在12个流行的分类数据集上创造了82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • 自监督视觉变换器的视觉提示调优改进

    Visual Prompt Tuning (VPT) 是一种有效的方法，用于适应预训练的 Vision Transformers(ViTs) 到下游任务，我们通过插入适当的 prompt token 可以提高其效果，同时我们也提出了一种可以为每个 ViT block 学习对应的 gate，以调整其对 prompt tokens 的影响，最终在 FGVC，VTAB 和 ADE20K 数据集上表现出更好的性能。

    Jun, 2023

  • SA$^2$VP：空间对齐和自适应视觉提示

    通过学习二维提示令牌映射来进行图像分类的细粒度提示，以模型化输入图像的空间关系和提高有效提示能力。

    Dec, 2023

  • LaViP: 语言驱动的视觉提示

    通过语言引导的视觉提示方法，我们使视觉语言模型的视觉编码器适应下游任务，从而提高适应性和泛化性能。

    Dec, 2023

  • 面对房间里的大象：视觉提示调整还是全面微调？

    通过对19个不同数据集和任务的全面分析，我们发现Visual Prompt Tuning（VPT）在任务目标差异大或数据分布相似时表现优异，而其成功不仅仅归因于过拟合和优化，而是因为VPT保留了原始特征并添加了参数。

    Jan, 2024

  • LSPT: 长期空间提示调整用于视觉表示学习

    长期空间提示调整 (LSPT) 是一种革命性的视觉表示学习方法，通过引入长期的门控提示，巧妙地结合了时间编码和空间编码，提高了视觉类别的区分和识别能力，同时在5个FGVC和19个VTAB-1K基准测试中展示了优于其他方法的性能。

    Feb, 2024

  • OT-VP: 测试时间自适应的最优传输引导视觉提示

    Optimal Transport-guided Test-Time Visual Prompting (OT-VP) leverages prompt learning at test time to align target and source domains without altering pre-trained model parameters, achieving significant improvements in accuracy on benchmark datasets.

    Jun, 2024

  • 人类与自动化提示在Segment Anything模型中的基准比较

    本研究解决了现有图像分割任务中自动化视觉提示与人类提示之间的理解不足问题。通过引入PointPrompt数据集和一系列基准任务，作者展示了人类提示的表现比自动化策略高出约29%，并识别出影响提示性能的关键因素。此外，采用微调方法可使自动化策略的性能提高最多68%。

    Oct, 2024

  • 人类与自动提示在“随意分割模型”中的基准测试

    本研究解决了自动视觉提示策略在图像分割任务中相较于人类提示的适用性不足及其在细调过程中的效果未被探索的问题。研究结果表明，人类提示的分割得分比自动策略高出约29%，并且细调自动方法可提高其表现多达68%。此研究不仅揭示人类与自动提示之间的差距，还提出了通过改进视觉提示设计来缩小这一差距的潜在方向。

    Oct, 2024