CVPRMar, 2023

多样性感知的元视觉提示

PDF
TL;DR本文提出了一种称为 Diversity-Aware Meta Visual Prompting 的有效提示方法，可将预训练模型传递到冻结的下游任务，旨在解决图像数据集多样性大的挑战性问题。该方法包括数据集多样性感知提示策略，集群下游数据集到具有相似性的小子集，给每个子集优化一个提示，所有提示都由一个元提示初始化，通过推断过程动态选择适当的提示。实验结果表明，DAM-VP 优于以前的提示方法。
diversity-aware meta visual promptingpre-trained modelsvisual promptingdiversity-adaptive promptingmeta-prompt
发现论文，激发创造
  • 多提示与深度分割的跨模态学习

    本研究提出了分区多模态提示方法（PMPO），将软提示从单个可学习提示扩展到多个提示，以捕获视觉表示的分层上下文深度。此外，我们结合手动设计的模板和可学习的多提示，以提高方法的泛化能力，并在新类别概括、跨数据集评估和领域泛化等三项具有挑战性的任务上验证了它的有效性。

    May, 2023

  • 通过动态视觉提示将预训练语言模型应用于视觉语言任务

    本文旨在研究使用预训练语言模型（Pre-trained language models，PLMs）作为一个独立的模型来进行视觉语言推理任务。提出了一个名为 Dynamic Visual Prompting（DVP）的新型转移学习方法，通过搜索算法，在保持 PLMs 参数完整性的情况下，有效地将其与不同的视觉语言任务相结合。经过广泛的实验验证，DVP 在效率和性能方面都具有优势，并且能够很好地适应预训练语言模型与 VL 任务相结合的需求。

    Jun, 2023

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • 探索视觉提示在多模态大型语言模型中的可转移性

    通过 Transferable Visual Prompting (TVP) 这一新方法，在只对一个模型进行训练的情况下，有效改善多样化的 Multimodal Large Language Models (MLLMs) 的性能，以提高其在下游任务中的应用能力。

    Apr, 2024

  • 分布式学习

    提出了基于提示分布学习的方法，从而通过有效地适应先前训练的视觉 - 语言模型来处理下游的识别任务，该方法不仅从少量样本中学习低偏差的提示，而且还捕获多种提示的分布以处理不同的视觉表示。

    May, 2022

  • 探索视觉提示以适应大规模模型

    通过视觉提示来适应视觉中的大规模模型，这种方法在适应预先训练模型方面非常有效。

    Mar, 2022

  • 面向视觉 - 语言模型的分布感知提示调整

    通过学习大规模数据的知识，预训练的视觉 - 语言模型（VLMs）在各种下游任务中表现出色。本文提出了分布感知的提示微调（DAPT），通过对齐两种模态之间的特征空间，并对每种模态的嵌入进行良好排列，显著改善了模型的泛化能力。

    Sep, 2023

  • 使提示可调整：基于贝叶斯建模的视觉 - 语言提示学习与数据相关先验

    利用贝叶斯框架中的 Prompt 学习方法，通过建模数据相关先验，减轻少样本学习中的过拟合问题，提高提示信息对未知样例的适应性，并展示相对现有方法在基准数据集上显著性能改进的统计结果。

    Jan, 2024

  • DAP：面向领域感知的视觉与语言导航提示学习

    通过引入低成本提示调整范式来学习特定领域视觉提示，我们提出了一种新颖且模型无关的领域感知提示学习（DAP）框架，以在 VLN 任务中为预训练模型提供特定对象级和场景级跨模态对齐，并将领域内视觉知识以高效的方式注入预训练模型的视觉编码器。在 R2R 和 REVERIE 上的实验结果显示，DAP 相比现有的最先进方法具有明显的优势。

    Nov, 2023

  • 保护 VPaaS 中视觉提示的著作权：通过水印防止抄袭

    通过视觉提示水印技术，在保护 VPaaS 开发者权益的同时，有效提高了效率、防止攻击，并在多种敌对操作下表现出鲁棒性。

    May, 2024