ICCVAug, 2023

基于知识的提示调优通用视觉语言模型

PDF
TL;DR通过设计两种类型的知识感知提示，离散提示和学习连续提示，以及视觉编码器的适应头部，实现针对视觉 - 语言模型的知识感知提示调整（KAPT）框架在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的 CoCoOp 方法相比，KAPT 在新类别中获得了 3.22% 的绝对增益和 2.57% 的调和均值增益。
pre-trained vision-language modelstransfer learningknowledge-aware prompt tuningfew-shot image classificationunseen categories
发现论文，激发创造
  • 对敌对提示调整的鲁棒泛化问题的重新审视

    通过多模态提示学习来提高图像和文本特征的对齐度，利用预训练的 CLIP 强大的泛化能力，引导模型在对抗性示例上增强鲁棒泛化能力，同时在干净示例上保持准确性。

    May, 2024

  • 知识化提示微调：将知识融入文本分类的提示语生成器

    本文关注于将外部知识融入语言模型的提示操作，形成知识型提示微调，以提高和稳定性能，实验证明其在评论分类任务中有效。

    Aug, 2021

  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • 冻结视觉语言模型的测试时视觉识别中的上下文提示学习

    通过测试样本的无监督目标，在视觉识别任务中使用上下文提示学习来适应预训练的视觉 - 语言模型，并取得了在各种下游数据集上的有效结果。

    Mar, 2024

  • 概念引导下的提示学习进行视觉 - 语言模型泛化

    通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。

    Jan, 2024

  • 面向视觉 - 语言模型的分布感知提示调整

    通过学习大规模数据的知识，预训练的视觉 - 语言模型（VLMs）在各种下游任务中表现出色。本文提出了分布感知的提示微调（DAPT），通过对齐两种模态之间的特征空间，并对每种模态的嵌入进行良好排列，显著改善了模型的泛化能力。

    Sep, 2023

  • PromptCap：基于提示的任务感知图像字幕生成

    研究了通过引入 PromptCap 这一基于控制生成描述的图像标题模型，用于解决直接使用通用标题生成模型缺乏对视觉细节描述的问题，提高了知识型视觉问答任务的准确性。

    Nov, 2022

  • 视觉 - 语言模型中零 - shot 泛化的测试时提示调整

    本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的 CLIP 模型动态调整提示， 以最小化模型预测时的不确定度，提高 CLIP 模型的泛化能力。实验结果表明，TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

    Sep, 2022

  • PromptKD: 无监督的视觉语言模型提示蒸馏

    在这篇论文中，我们介绍了一种无监督域提示蒸馏框架，通过使用未标记的领域图像进行提示驱动的模仿，旨在将更大的教师模型的知识转移给轻量级目标模型。

    Mar, 2024

  • 通过多知识表示优化视觉语言模型的提示学习

    Context Optimization with Multi-Knowledge Representation (CoKnow) enhances Prompt Learning for VLMs by addressing the lack of diversity in prompt templates, resulting in improved performance compared to previous methods.

    Apr, 2024