零样本实例分割
本文提出了一个新的任务:零样本语义分割,要求学习像素级分类器从未见过的物体类别中进行分类。ZS3Net 是本文提出的一种新架构,它将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合,以实现在测试时间处理已见和未见类别的像素分类任务。本文还通过自我训练进一步提高了性能,并在 Pascal-VOC 和 Pascal-Context 两个标准分割数据集上提出了零样本基准并设立竞争基线。此外,对于像 Pascal-Context 数据集中的复杂场景,我们通过使用图形上下文编码来完全利用来自类别分割地图的空间上下文先验知识。
Jun, 2019
本文提出了一种解决零样本目标检测问题的方法,并通过使用视觉 - 语义嵌入,背景感知方法,以及使用大量类别语义标签的辅助数据来解决仅有少数训练类别的问题。在 MSCOCO 和 VisualGenome 两个标准检测数据集上进行实验,验证了该方法的有效性。
Apr, 2018
本文提出 D$^2$Zero 模型结合语义推动减偏和背景消除,以提高零样本实例分割人工智能的表现,实验表明我们的方法比先前的最先进方法显着优越。
May, 2023
本文提出了一种新的基于分割标签的应对零样本图像语义分割任务的方法 ——ZegFormer,采用无类别分组任务(class-agnostic grouping task)和基于分割标签的零样本分类任务(zero-shot classification task on segments)两个子任务,引入大规模视觉语言模型(如 CLIP),在 PASCAL VOC 和 COCO-Stuff 等数据集上取得了较大的性能提升。
Dec, 2021
该论文提出了 Zero-shot Unsupervised Transfer Instance Segmentation (ZUTIS) 框架,它能够实现无需实例级别或像素级别的注释,且具有零样本迁移能力。与现有的无监督方法相比,在语义分割和实例分割任务上的表现均较为优秀。
Apr, 2023
本文提出了用于同时识别和定位未见过类别的物体实例的 Zero-Shot Detection 问题,并引入基于 ILSVRC 数据集的新实验协议和元类概念来改善自动推导的语义描述的噪音,旨在在视觉和语义领域信息之间建立协同作用的新型 'Zero-Shot Detection' 深度神经网络。
Mar, 2018
ContrastZSD 是一种用于零样本目标检测的基于语义指导对比学习的检测框架,它通过引入显式的语义指导和对比学习机制,来优化模型对未见过类别的认知,同时改善视觉特征结构以实现更好的视觉 - 语义对齐。
Sep, 2021
通过使用冻结的仅包含视觉信息的模型和融合离散文本和语言知识的方式,我们提出了 SimZSS,一种用于开放性词汇的零样本分割的简单框架。在仅使用图像 - 标题对数据集进行训练的情况下,我们的方法利用了视觉表示的质量,并在不到 15 分钟的时间内在 8 个基准数据集中的 7 个上实现了最先进的结果。
Jun, 2024
该研究提出一种名为 Siamese Mask R-CNN 的方法来解决一个新挑战性的问题 —— 一次性实例分割,通过对参考图像和场景进行编码来将检测和分割目标定向于参考类别,虽然将分割实例的知识转移到新对象类别的表现很好,但是针对参考类别进行检测的困难度更大,该研究为一次性实例分割提供了一个有力的准确率基准,并将启发更多有关更强大和灵活的场景分析算法的研究。
Nov, 2018
该论文介绍了一种使用预训练的图像 - 语言模型进行零样本学习的语义分割方法,将预训练模型中的视觉概念知识转化为分割区域的语义信息表示(即 segment tokens)并应用于视觉语义分割任务中。实验结果表明,该方法在多个公共基准数据集上可以达到与有监督训练方法相竞争的效果。
Jun, 2023