BriefGPT.xyz
Apr, 2024
逐步多模态条件提示调整
Progressive Multi-modal Conditional Prompt Tuning
HTML
PDF
Xiaoyu Qiu, Hao Feng, Yuechen Wang, Wengang Zhou, Houqiang Li
TL;DR
通过迭代利用图像和当前的编码信息,我们提出了一种新颖的方法——渐进式多模态条件Prompt调整(ProMPT),通过多模态提示的方式使视觉-语言特征逐步对齐,从而实现从粗糙到准确的分类。在所有设置中,广泛的实验证明了ProMPT方法相对于现有方法的优越性。
Abstract
pre-trained vision-language models
(VLMs) have shown remarkable
generalization
capabilities via
prompting
, which leverages VLMs as knowled
→