Jun, 2024

指导零样本学习的提示生成

PDF
TL;DR通过进一步采用指令跟随技术来提取具有综合转移知识的指导性视觉提示，以解决固定学习提示在已知领域上过分强调训练期间观察到的主要视觉特征的问题，并通过引导学习的指令提示来实现对视觉表示的反向校正，从而弥补缺失的视觉细节并消除跨模态差异，为未知领域的泛化带来显著性能提升。
zero-shot learningprompt engineeringinstruction-following techniquevisual promptsunseen domain generalization
发现论文，激发创造
  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • 理解提示工程不一定需要重新思考普遍化

    通过经典的 PAC-Bayes 界限解释所产生的离散提示的性能表现良好，这为手动设计和生成过程中引导工程实践提供了可能的理论解释。

    Oct, 2023

  • HealthPrompt: 临床自然语言处理的零样本学习范式

    本研究提出了一种基于最新的技术，即零样本学习和提示学习，开发了一种名为 HealthPrompt 的新型基于提示的临床自然语言处理 (NLP) 框架，通过在无数据环境下进行了六个不同的预训练语言模型 (PLM) 的实验，证明了提示能够有效地捕捉临床文本的上下文，并且可以在没有任何训练数据的情况下取得显著的表现。

    Mar, 2022

  • 检索增强的视觉提示学习用于少样本分类

    本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

    Jun, 2023

  • 零射多模合成的知识推动

    通过迭代地整合外部知识以帮助生成模型产生可靠的视觉内容，无需广泛的文本 - 图像对注释，Knowledge Pursuit Prompting (KPP) 是一种零样本框架，用于提高多模态生成模型的质量和忠诚度。

    Nov, 2023

  • 基于原型的提示学习：基于预训练的视觉语言模型的原型提示学习

    本文介绍了一个基于原型的新型学习方法 —— 原型提示学习法（PTP），用于在预先训练的视觉语言模型中进行少量样本的图像识别任务。通过定义图像原型和提示原型来实现相似图像的相似提示，从而有效地利用潜在知识并适应各种 PVLM。

    Oct, 2022

  • STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

    提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

    Oct, 2022

  • 面向组合式零样本学习的语言指导分布促进

    本文提出了一种使用 CLIP 模型的语言信息分布 ——PLID 模型来增强光学识别任务中未知组合视觉概念的泛化性能，通过软提示类嵌入式的组合和原始的嵌入式混合策略来融合一致的分类决策。使用 MIT-States、UT-Zappos、C-GQA 数据集的实验结果表明，PLID 方法相较于其他方法表现更佳。

    May, 2023

  • 基于渐进语义引导的视觉变形器用于零样本学习

    我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer（ZSLViT），通过语义嵌入令牌学习改进视觉 - 语义对应关系，发现语义相关的视觉令牌，并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息，从而在零样本学习中实现准确的视觉 - 语义交互作用，我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。

    Apr, 2024

  • 预训练视觉语言模型中的伪提示生成，面向多标签医学图像分类

    该研究介绍了一个新的提高医学图像识别性能的方法，利用预训练视觉 - 语言模型和伪提示生成来实现多标签分类和自动诊断，对比实验证明了其在多标签胸部放射图数据集上的卓越性能。

    May, 2024