Aug, 2022
Open-Vocabulary Panoptic Segmentation with MaskCLIP
Open-Vocabulary Panoptic Segmentation with MaskCLIP
Zheng Ding, Jieke Wang, Zhuowen Tu
TL;DR本文提出了用于任意描述的显式开放分类的 Panoptic 分割,建立了一个没有调优或蒸馏的基线方法,然后开发了一个新的基于 Transformer 的方法 MaskCLIP,使用 ViT-CLIP 骨架和掩模查询来执行语义和物体实例分割。最后,在 ADE20K 和 PASCAL 数据集上获得了令人鼓舞的结果,并展示了 MaskCLIP 的定制类别的定性说明。