Balamurali Murugesan, Rukhshanda Hussain, Rajarshi Bhattacharya, Ismail Ben Ayed, Jose Dolz
TL;DR本文介绍了一种新的PrOmpt cLass lEarning (POLE)策略,在弱监督语义分割(WSSS)问题上实现最先进的性能,并强调了语言-视觉模型在WSSS中的优势和提示学习在该问题中的潜力。
Abstract
Recently, clip-based approaches have exhibited remarkable performance on generalization and few-shot learning tasks, fueled by the power of contrastive language-vision pre-training. In particular, →
本研究针对传统少样本分割方法中存在的类别无关特征编码问题,提出了一种新颖的“Prompt and Transfer”(PAT)方法。该方法通过引入跨模态语言信息、语义提示转移和部件掩码生成器,动态调整编码器以精确聚焦于目标类别,从而在少样本分割、跨域分割等多个任务上实现了优越的性能,并在11个基准测试中设立了新的状态-of-艺术。