通过提示对齐调整视觉-语言模型的候选标签
本文介绍了如何使用CoOp, 一种基于学习来应用CLIP vision-language 模型用于下游图像识别任务的简单方法, 以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题,并证明其比手工制作的提示更好。
Sep, 2021
本研究通过将多尺度图像特征集成到提示中,提出了一种对于分布偏移具有鲁棒性的提示学习方法,实验结果表明,这种方法在多个基准测试数据集上的鲁棒性和性能有所提高。
Apr, 2023
视觉语言模型通过大规模训练数据学习了一种通用的文本-图像嵌入。通过少量样本的提示调整,可以将视觉语言模型适应到新的分类任务中。我们发现,这种提示调整过程对标签噪声非常稳健,且具有鲁棒性。
Jul, 2023
通过学习大规模数据的知识,预训练的视觉-语言模型(VLMs)在各种下游任务中表现出色。本文提出了分布感知的提示微调(DAPT),通过对齐两种模态之间的特征空间,并对每种模态的嵌入进行良好排列,显著改善了模型的泛化能力。
Sep, 2023
利用双重对齐提示调整(DuAl-PT),结合大规模视觉语言模型和预训练大型语言模型,在少样本识别和基于新样本泛化上取得了卓越的性能,为未来研究提供了强有力的基准。
Sep, 2023
通过引入一个创新的标签对齐方法LAMM以及一个分层损失,我们的研究展示了在少样本场景中,我们的方法显著提高了现有多模态提示学习模型的性能,并在持续学习方面具有优势。
Dec, 2023
通过迭代利用图像和当前的编码信息,我们提出了一种新颖的方法——渐进式多模态条件Prompt调整(ProMPT),通过多模态提示的方式使视觉-语言特征逐步对齐,从而实现从粗糙到准确的分类。在所有设置中,广泛的实验证明了ProMPT方法相对于现有方法的优越性。
Apr, 2024
通过利用来自大型语言模型(LLM)的类别描述,我们引入了一种基于部分级别描述引导的图像和文本特征对齐方法,以构建更加可泛化的提示,并通过在 11 个基准数据集上的全面实验验证,超越了现有方法,取得了实质性的改进。
May, 2024
通过候选伪标签学习方法(CPL)在下游任务中使用适当的候选伪标签细调视觉-语言模型(VLMs),以提高VLMs在大量无标签数据上的True标签包含能力和类别平衡实例选择效果。
Jun, 2024
本研究解决了将预训练模型适应开放类场景的挑战,尤其是在新类出现时提示的通用性不足问题。通过提出一种测试时提示调优的方法,利用最大概念匹配评分生成输入条件的提示,从而增强模型性能。实验表明,该方法在多个数据集上优于现有所有对比方法,具有显著提升效果。
Aug, 2024