本文提出了一种基于 CLIP 的零样本语义分割方法 ZegCLIP，将其从图像级别扩展到像素级别，通过三种简单而有效的设计处理过拟合问题，具有更好的泛化能力和速度优势。

Dec, 2022

提出了一种名为 CLIPTeacher 的新学习框架，用于各种基于像素分类的分割模型，不引入任何显式的掩码建议者或更改 CLIP 的结构，并利用已知区域和忽略区域来取得较大的性能提升。

Oct, 2023

本文介绍了一种新的 PrOmpt cLass lEarning (POLE) 策略，在弱监督语义分割（WSSS）问题上实现最先进的性能，并强调了语言 - 视觉模型在 WSSS 中的优势和提示学习在该问题中的潜力。

Jun, 2023

当前，低光条件给机器认知带来了重大挑战。本文提出了一种利用零参考低光增强方法改善下游任务模型性能的策略，通过利用丰富的视觉 - 语言 CLIP 先验来改进零参考低光增强方法，避免了对配对或非配对正常光数据的收集工作，并证明了不需要正常光数据的学习提示可以改善图像对比度，减少过度增强和噪声过放大。另外，通过零样本开放式词汇分类利用 CLIP 模型进行语义指导，优化低光增强以提高任务性能而非人类视觉感知。通过大量实验结果显示，所提出的方法在各种数据集上都取得了一致的改进效果，并将其与最先进的方法进行比较，展示了在各种低光数据集上的有利结果。

May, 2024

本研究针对 CLIP 在像素级开放词汇学习任务中面临的输入像素误识别问题，提出了一种名为 TagCLIP 的改进方法，通过引入一种名为 trusty token 的可信标记，成功提高了现有模型的泛化容量。针对 PASCAL VOC 2012 和 COCO-Stuff 164K 两大数据集，TagCLIP 对于未知分类的 IOU 值均有显著提升。

Apr, 2023

本文提出了 MVP-SEG 多视角提示学习作为一种有效的解决方案，以实现图像像素的适应性并解决开放式词汇的语义分割，通过 MVP-SEG 可以透过多个视角优化 CLIP 特征，并通过知识转移阶段使已知类别的多视角提示学习能够强大地推广到未知类别，它在几个基准测试上显著地优于以前的方法。

Apr, 2023

研究使用 CLIP 中的零样本伪标签作为监督来增强视觉 - 语言模型，发现半监督、零样本迁移和无监督学习可以视作优化相同损失函数的统一视图，进而开发出全面的跨学习范式适用的培训策略，同时找到未探索的提示调整策略可以通过迭代滴精细伪标签不断提高性能。

Jun, 2023

本文通过自监督学习及视觉 - 语言模型，提出了 CLIP-S4 方法，该方法可以在不需要人类注释和未知类信息的情况下进行各种语义分割任务，包括无监督、迁移学习和语言驱动分割，并在未知类别识别上表现出良好的性能优势。

May, 2023

我们提出了 C-SAW，这是一个在视觉空间中加入自监督损失和强调视觉领域和内容特定特征的新型提示学习技术，以确保领域不变的提示学习，并增强视觉特征的表达能力。C-SAW 在多个遥感基准测试和不同的泛化任务中展现了超越性能。

Nov, 2023

本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的 CLIP 模型动态调整提示， 以最小化模型预测时的不确定度，提高 CLIP 模型的泛化能力。实验结果表明，TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

Sep, 2022