本文提出了用于任意描述的显式开放分类的Panoptic分割，建立了一个没有调优或蒸馏的基线方法，然后开发了一个新的基于Transformer的方法MaskCLIP，使用ViT-CLIP骨架和掩模查询来执行语义和物体实例分割。最后，在ADE20K和PASCAL数据集上获得了令人鼓舞的结果，并展示了MaskCLIP的定制类别的定性说明。

Aug, 2022

该论文提出了一种针对开放词汇的语义分割方法，即通过预训练模型再特定训练样本上的微调和修正，来解决预训练模型在遮蔽图像上的效果问题，从而提高模型的泛化能力，并通过遮蔽抽取方法有效地提高了语义分割的效果。

Oct, 2022

本研究针对 CLIP 在像素级开放词汇学习任务中面临的输入像素误识别问题，提出了一种名为 TagCLIP 的改进方法，通过引入一种名为 trusty token 的可信标记，成功提高了现有模型的泛化容量。针对 PASCAL VOC 2012 和 COCO-Stuff 164K 两大数据集，TagCLIP 对于未知分类的 IOU 值均有显著提升。

Apr, 2023

使用共享的冻结卷积CLIP骨干网络，将当前的两阶段流程大大简化，并显著提高准确性和成本平衡，成为各种开放词汇语义分割数据集中的最新最佳表现。

Aug, 2023

通过大规模视觉-语言模型，我们提出了一种简单但非常有效的无需训练的技术，Plug-and-Play开放词汇语义分割（PnP-OVSS），并通过Salience Dropout技术实现了与现有技术相比的显着改善。

Nov, 2023

本文通过使用CLIP的广义上下文先验，通过校准在词汇内和领域偏置的嵌入空间，研究开放词汇分割（OVS）。为了解决这一挑战，我们提出了一个称为Semantic-assisted CAlibration Network（SCAN）的方法，并引入了广义语义先验以避免在已知类别上崩溃。此外，我们还提出了一种名为Semantic-Guided IoU（SG-IoU）的新度量标准，以解决现有评估系统忽略分类间语义重复的问题。

Dec, 2023

借鉴了CLIP模型，并通过自适应CLIP的可视化transformer来强化感知，提出了一种新的方法NACLIP用于训练自由的open-vocabulary semantic segmentation(OVSS)，在8个流行的语义分割评估中获得了最先进的性能。

Apr, 2024

提出了一种名为EBSeg的开放词汇语义分割框架，利用自适应平衡解码器和语义结构一致性损失来解决模型在训练和新类别之间存在的语义信息差异问题。通过生成不同的图像嵌入表征用于训练和新类别以及优化基于CLIP的模型的泛化能力，该方法在各种基准测试中表现出超越其他方法的性能。

Jun, 2024

通过研究CLIP的[CLS]标记对补丁特征相关性的影响，我们提出了一种称为CLIPtrase的训练免费的语义分割策略，通过重新校准补丁之间的自相关性来提高局部特征的认知能力。该方法在分割准确性和对象间语义一致性的保持方面表现出显著的改进，超过了现有的最先进的无需训练的方法。

Jul, 2024

通过重新研究CLIP的架构，我们发现残差连接是降低分割质量的主要噪声源。因此，我们提出了ClearCLIP，这是一种新颖的方法，通过对CLIP的表示进行分解来增强开放词汇的语义分割。ClearCLIP消除了残差连接，实施了自我关注，并且舍弃了前馈网络。在多个基准测试中，ClearCLIP始终生成更清晰、更准确的分割地图，并且在性能上优于现有方法。

Jul, 2024