Jun, 2024

OT-VP: 测试时间自适应的最优传输引导视觉提示

HTML
PDF
TL;DROptimal Transport-guided Test-Time Visual Prompting (OT-VP) leverages prompt learning at test time to align target and source domains without altering pre-trained model parameters, achieving significant improvements in accuracy on benchmark datasets.
发现论文，激发创造
  • 视觉提示调优

    该论文提出了一种名为Visual Prompt Tuning（VPT）的高效且有效的调整大规模Transformer模型的替代方案，相较于 fine-tuning，VPT仅在输入空间中引入很少的可训练参数，通过在广泛的下游识别任务上的实验，我们发现VPT在许多情况下甚至比全尺寸fine-tuning更加优秀，同时减小了每个任务的存储成本。

    Mar, 2022

  • 测试时间域自适应的视觉提示调控

    本文提出一种用于数据有效且准确实现目标领域适应的测试时适应问题解决方案(Data-efficient Prompt Tuning，DePT)，其使用镜像学习方式将交互式提示信息细化到视觉Transformer模型中，在测试时自适应调整模型引用的提示以提升模型对目标域的表示，且具有适用于许多测试适应问题的能力。

    Oct, 2022

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在12个流行的分类数据集上创造了82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • BlackVIP: 用于稳健转移学习的黑盒视觉提示

    本研究提出了基于黑盒视觉提示的少样本学习方法，拥有强大的适应能力和鲁棒性，能够高效地适应并提高预训练模型的性能。

    Mar, 2023

  • 使用残差学习表现引导的视觉Transformer模型

    本文介绍了一种针对视觉transformers的主动学习范式，即Expressive Prompts with Residuals（EXPRES），能有效地适应图像分类、少样本学习和语义分割，并在VTAB基准测试的3类中实现了最先进的提示调整。

    Mar, 2023

  • 自监督视觉变换器的视觉提示调优改进

    Visual Prompt Tuning (VPT) 是一种有效的方法，用于适应预训练的 Vision Transformers(ViTs) 到下游任务，我们通过插入适当的 prompt token 可以提高其效果，同时我们也提出了一种可以为每个 ViT block 学习对应的 gate，以调整其对 prompt tokens 的影响，最终在 FGVC，VTAB 和 ADE20K 数据集上表现出更好的性能。

    Jun, 2023

  • VPA：完全测试时间的视觉提示适应

    通过引入可学习的标记，VPA（Visual Prompt Adaptation）作为一个框架通过测试时间的自适应实现了视觉提示的普遍性，且不需要源领域信息，实验结果表明VPA有效提高了各种模型的历程泛化、抗干扰性和领域适应能力，以及对视觉-语言模型的零样本识别性能的鲁棒性改进。

    Sep, 2023

  • AutoVP：自动视觉提示框架与基准

    以視覺提示（VP）作為研究對象，本文提出了AutoVP框架，用於自動化VP設計選擇，同時評估其性能。通過對12個下游圖像分類任務進行綜合性能評估，實驗結果顯示AutoVP優於當前已知VP方法，並提供了高達6.7％的準確率改進和最高27.5％的性能增益。

    Oct, 2023

  • 面对房间里的大象：视觉提示调整还是全面微调？

    通过对19个不同数据集和任务的全面分析，我们发现Visual Prompt Tuning（VPT）在任务目标差异大或数据分布相似时表现优异，而其成功不仅仅归因于过拟合和优化，而是因为VPT保留了原始特征并添加了参数。

    Jan, 2024

  • 引导视觉转换器的视觉提示学习

    通过在输入图像中引入视觉提示信息，本研究旨在为视觉变换器模型设计学习视觉提示，以引导其注意力集中在图像的特定区域，通过自监督学习的方式进行优化，实验结果表明该优化策略在各种预训练视觉编码器中的效果显著。

    Jun, 2024