本文提出了一种基于CLIP模型和图像水平监督的对象中心对齐的方法，运用伪标注实现高质量对象提议并在训练过程中扩展词汇表，通过新的权重传递函数将两种对象对齐策略结合，实现了在OVD方案中对象和图像中心表示的最小化差距。在COCO数据集上，我们的方法在新颖类别上取得了36.6的AP50表现，绝对值超过了以前的最佳性能。对于LVIS，我们在罕见类别上超越了最新的ViLD模型达5.0的掩膜AP，总体提高3.4。

Jul, 2022

该论文提出了一种针对开放词汇的语义分割方法，即通过预训练模型再特定训练样本上的微调和修正，来解决预训练模型在遮蔽图像上的效果问题，从而提高模型的泛化能力，并通过遮蔽抽取方法有效地提高了语义分割的效果。

Oct, 2022

本文提出一种基于Transformer的模型用于开放词汇语义分割（Open-Vocabulary Semantic Segmentation, OVS），该模型通过使用网络爬虫图像-文本对进行预训练，并提出了两种代理任务和数据集以提高训练效率和分割结果。在三个基准数据集上实现了优异的零-shot迁移效果。

Jan, 2023

本文通过使用CLIP的广义上下文先验，通过校准在词汇内和领域偏置的嵌入空间，研究开放词汇分割（OVS）。为了解决这一挑战，我们提出了一个称为Semantic-assisted CAlibration Network（SCAN）的方法，并引入了广义语义先验以避免在已知类别上崩溃。此外，我们还提出了一种名为Semantic-Guided IoU（SG-IoU）的新度量标准，以解决现有评估系统忽略分类间语义重复的问题。

Dec, 2023

通过局部到全局的框架，我们提出了一种扩展了 CLIP 的方法来提高多标签分类性能，并通过生成的标签在弱监督语义分割任务中取得了显著的性能提升。

Dec, 2023

通过在大量文本图像对上进行自我监督的对比学习，RankCLIP在扩展CLIP的刚性一对一匹配框架的同时，利用模态内和跨模态的排序一致性来提高对齐过程，捕捉每种模态之间和内部的细致的多对多关系，有效提升各种下游任务的性能，尤其在零样本分类方面，显著超越现有方法，突显了RankCLIP在进一步推进视觉语言预训练方面的潜力。

Apr, 2024

提出了一种名为EBSeg的开放词汇语义分割框架，利用自适应平衡解码器和语义结构一致性损失来解决模型在训练和新类别之间存在的语义信息差异问题。通过生成不同的图像嵌入表征用于训练和新类别以及优化基于CLIP的模型的泛化能力，该方法在各种基准测试中表现出超越其他方法的性能。

Jun, 2024

通过研究CLIP的[CLS]标记对补丁特征相关性的影响，我们提出了一种称为CLIPtrase的训练免费的语义分割策略，通过重新校准补丁之间的自相关性来提高局部特征的认知能力。该方法在分割准确性和对象间语义一致性的保持方面表现出显著的改进，超过了现有的最先进的无需训练的方法。

Jul, 2024

通过重新研究CLIP的架构，我们发现残差连接是降低分割质量的主要噪声源。因此，我们提出了ClearCLIP，这是一种新颖的方法，通过对CLIP的表示进行分解来增强开放词汇的语义分割。ClearCLIP消除了残差连接，实施了自我关注，并且舍弃了前馈网络。在多个基准测试中，ClearCLIP始终生成更清晰、更准确的分割地图，并且在性能上优于现有方法。

Jul, 2024

本研究解决了开放词汇语义分割中模型在视觉表示与开放词汇语义标签整合的困难。提出的ProxyCLIP框架通过利用视觉基础模型的空间特征，将其作为代理注意力增强CLIP，从而实现空间精度与语义丰富性的有效结合。研究表明，ProxyCLIP显著提高了多项基准测试的平均均值交并比，从40.3提升至44.4，展现了其在开放词汇分割任务中的卓越效果。

Aug, 2024