该论文提出了一种针对开放词汇的语义分割方法，即通过预训练模型再特定训练样本上的微调和修正，来解决预训练模型在遮蔽图像上的效果问题，从而提高模型的泛化能力，并通过遮蔽抽取方法有效地提高了语义分割的效果。

Oct, 2022

本文提出了Fusioner方法，将自然语言和视觉特征融合用于零样本学习，且通过在多个自监督模型上进行实验展示了Fusioner的普适性。实验结果表明该方法表现优异且鲁棒性强。

Oct, 2022

本文提出一种基于Transformer的模型用于开放词汇语义分割（Open-Vocabulary Semantic Segmentation, OVS），该模型通过使用网络爬虫图像-文本对进行预训练，并提出了两种代理任务和数据集以提高训练效率和分割结果。在三个基准数据集上实现了优异的零-shot迁移效果。

Jan, 2023

本研究提出了一种基于Open-Vocabulary（OV）和伪标注掩模的无掩模OVIS路线方法，以在弱监督学习条件下学习基本和新颖类别的实例分割模型，从而克服了现有实例分割模型中标注困难的问题并取得更好的性能结果。

Mar, 2023

本文综述了开放式词汇学习的最新动态，强调了其与零样本学习、开放集识别和超出分布检测等相关概念的比较，并详细讨论了检测和分割等视觉场景理解任务下的具体应用。研究发现，开放式词汇学习方法在实践中更具广泛性、有效性和实用性，未来仍有许多探索余地。

Jun, 2023

计算机视觉中的目标检测和分割作为最基本的任务，在深度学习时代取得了巨大的进展。然而，由于昂贵的手动标注，现有数据集中的标注类别往往规模较小且预定义，即最先进的检测器和分割器无法推广到开放词汇之外。因此，近年来越来越多的关注集中在开放词汇检测（OVD）和分割（OVS）上。在本调研中，我们提供了对过去和最新OVD和OVS发展的全面审查。为此，我们根据任务类型和方法学开发了一个分类法。我们发现，对于不同的方法学，包括：视觉-语义空间映射、新颖的视觉特征合成、区域感知训练、伪标签、基于知识蒸馏和基于迁移学习的方法，弱监督信号的许可和使用可以很好地区分。所提出的分类法在不同任务之间是通用的，包括目标检测、语义/实例/全景分割、三维场景和视频理解。在每个类别中，详细讨论了其主要原则、关键挑战、发展路线、优点和缺点。此外，我们还对每个方法的关键组成部分进行了基准测试。最后，我们提供了一些有前途的方向，以激发未来的研究。

Jul, 2023

通过大规模视觉-语言模型，我们提出了一种简单但非常有效的无需训练的技术，Plug-and-Play开放词汇语义分割（PnP-OVSS），并通过Salience Dropout技术实现了与现有技术相比的显着改善。

Nov, 2023

本文通过使用CLIP的广义上下文先验，通过校准在词汇内和领域偏置的嵌入空间，研究开放词汇分割（OVS）。为了解决这一挑战，我们提出了一个称为Semantic-assisted CAlibration Network（SCAN）的方法，并引入了广义语义先验以避免在已知类别上崩溃。此外，我们还提出了一种名为Semantic-Guided IoU（SG-IoU）的新度量标准，以解决现有评估系统忽略分类间语义重复的问题。

Dec, 2023

我们提出了一种基于视觉语言模型的领域自适应方法，通过结合参数高效的提示微调和三元组损失训练策略，提高了开放词汇的普适性，并适应了视觉领域，改善了开放词汇分割任务中的性能。

May, 2024

本研究针对开放词汇分割（OVS）模型在新领域中的显著性能下降问题，提出了一种保持先前知识的同时从新领域学习信息的方法。通过评估输入样本与多个领域的接近度，采用动态插值机制，提高了模型在新领域的适应性，并保持了在先前训练数据集上的性能。

Oct, 2024