Sep, 2023

VPA：完全测试时间的视觉提示适应

HTML
PDF
TL;DR通过引入可学习的标记，VPA（Visual Prompt Adaptation）作为一个框架通过测试时间的自适应实现了视觉提示的普遍性，且不需要源领域信息，实验结果表明VPA有效提高了各种模型的历程泛化、抗干扰性和领域适应能力，以及对视觉-语言模型的零样本识别性能的鲁棒性改进。
发现论文，激发创造
  • 视觉提示调优

    该论文提出了一种名为Visual Prompt Tuning（VPT）的高效且有效的调整大规模Transformer模型的替代方案，相较于 fine-tuning，VPT仅在输入空间中引入很少的可训练参数，通过在广泛的下游识别任务上的实验，我们发现VPT在许多情况下甚至比全尺寸fine-tuning更加优秀，同时减小了每个任务的存储成本。

    Mar, 2022

  • 视觉-语言模型中零-shot泛化的测试时提示调整

    本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的CLIP模型动态调整提示， 以最小化模型预测时的不确定度，提高CLIP模型的泛化能力。实验结果表明，TPT方法在自然情况下的zero-shot top-1准确率比以往方法的提升3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

    Sep, 2022

  • 测试时间域自适应的视觉提示调控

    本文提出一种用于数据有效且准确实现目标领域适应的测试时适应问题解决方案(Data-efficient Prompt Tuning，DePT)，其使用镜像学习方式将交互式提示信息细化到视觉Transformer模型中，在测试时自适应调整模型引用的提示以提升模型对目标域的表示，且具有适用于许多测试适应问题的能力。

    Oct, 2022

  • 装扮新人：基于视觉域提示的连续测试时间适应

    本文提出了一种基于图像级视觉域提示的连续测试时间适应方法，在不访问源数据的情况下适应于持续变化的未标记目标域。该方法包括两种提示类型：域特定提示和域不可知提示，并设计了一种基于一致性的提示自适应策略。实验证明，该方法在四个广泛使用的基准测试中实现了显著的性能提高。

    Dec, 2022

  • SA$^2$VP：空间对齐和自适应视觉提示

    通过学习二维提示令牌映射来进行图像分类的细粒度提示，以模型化输入图像的空间关系和提高有效提示能力。

    Dec, 2023

  • 面对房间里的大象：视觉提示调整还是全面微调？

    通过对19个不同数据集和任务的全面分析，我们发现Visual Prompt Tuning（VPT）在任务目标差异大或数据分布相似时表现优异，而其成功不仅仅归因于过拟合和优化，而是因为VPT保留了原始特征并添加了参数。

    Jan, 2024

  • 重访视觉调优的能量与提示

    通过关键参数的优化和初始化，我们提出了一种改进的视觉提示调整方法，用于优化预训练模型在下游任务中的性能表现，并在大量实验证明该方法在自我监督预训练适应性上取得了显著的性能改进。

    Feb, 2024

  • 冻结视觉语言模型的测试时视觉识别中的上下文提示学习

    通过测试样本的无监督目标，在视觉识别任务中使用上下文提示学习来适应预训练的视觉-语言模型，并取得了在各种下游数据集上的有效结果。

    Mar, 2024

  • 视觉语言模型的失误机会：视觉语言模型在线测试时间适应的比较研究

    对视觉-语言模型的测试时间适应性策略进行系统探索，包括提示工程策略和现有的测试时间适应方法，以提高模型在真实场景中的适应性和鲁棒性。

    May, 2024

  • OT-VP: 测试时间自适应的最优传输引导视觉提示

    Optimal Transport-guided Test-Time Visual Prompting (OT-VP) leverages prompt learning at test time to align target and source domains without altering pre-trained model parameters, achieving significant improvements in accuracy on benchmark datasets.

    Jun, 2024