Jul, 2024

超越掩模:重思少样本分割中的引导类型

TL;DR现有的少样本分割方法主要关注原型特征生成和查询-支持匹配机制,本文提出了通用少样本分割方法(UniFSS),结合文本、掩膜、框和图像等多种引导模式,并利用大规模预训练视觉-语言模型,通过高级空间纠正和嵌入交互单元,解决了纯视觉匹配方法在面对类内外观多样性时遇到的语义歧义问题,实验证明UniFSS显著优于现有方法,其中弱注释的类感知框范式甚至超过了精细注释的掩膜范式。