Oct, 2022

CPL: 计数器事实提示学习用于视觉和语言模型

PDF
TL;DR本文提出了一种新的对视觉和语言模型进行计数事实学习（counterfactual prompt learning，CPL）的方法，该方法同时采用反事实生成和对比学习的方法，在一个联合优化框架中从真实和反事实例子中学习更具有普适性的 prompt 表示。实验测试表明，CPL 在不同的视觉和语言任务上都可以获得优秀的 few-shot 性能。
发现论文，激发创造
  • 概念引导下的提示学习进行视觉 - 语言模型泛化

    通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。

    Jan, 2024

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • CCPrompt：针对多类别分类的反事实对比提示调优

    本研究提出了一种基于对比意义和对立特性的反事实对比提示调优（CCPrompt）方法，可以提高多类别分类任务，例如关系分类、主题分类和实体打标任务的准确性和鲁棒性，并采用简单的暹罗猫（Siamese）表示学习来增强模型的鲁棒性。

    Nov, 2022

  • 冻结视觉语言模型的测试时视觉识别中的上下文提示学习

    通过测试样本的无监督目标，在视觉识别任务中使用上下文提示学习来适应预训练的视觉 - 语言模型，并取得了在各种下游数据集上的有效结果。

    Mar, 2024

  • CPT：用于预训练视觉语言模型的彩色提示调节

    该研究提出 Cross-modal Prompt Tuning，一种基于图像和文本的填空问题的视觉定位模型调参范式，能够在少量标记数据下使模型具有强大的零样本或少样本学习能力，实现了视觉与语言的理解与应用。

    Sep, 2021

  • 视觉语言模型的软上下文共享 Prompt 调整

    本研究提出了一种基于多任务学习的视觉语言模型 Prompt Tuning 的方法 SoftCPT，用于同时优化多个 Few-Shot 任务的任务共享元网络，结果表明该模型能够通过软共享模式下的多任务学习实现比 CoOp 更好的结果。

    Aug, 2022

  • 基于知识的提示调优通用视觉语言模型

    通过设计两种类型的知识感知提示，离散提示和学习连续提示，以及视觉编码器的适应头部，实现针对视觉 - 语言模型的知识感知提示调整（KAPT）框架在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的 CoCoOp 方法相比，KAPT 在新类别中获得了 3.22% 的绝对增益和 2.57% 的调和均值增益。

    Aug, 2023

  • 对敌对提示调整的鲁棒泛化问题的重新审视

    通过多模态提示学习来提高图像和文本特征的对齐度，利用预训练的 CLIP 强大的泛化能力，引导模型在对抗性示例上增强鲁棒泛化能力，同时在干净示例上保持准确性。

    May, 2024

  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • 视觉 - 语言模型中零 - shot 泛化的测试时提示调整

    本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的 CLIP 模型动态调整提示， 以最小化模型预测时的不确定度，提高 CLIP 模型的泛化能力。实验结果表明，TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

    Sep, 2022