我们提出了一种新的零样本目标实例分割任务,并提出了一种用于解决此挑战的方法,该方法包括零样本检测器,语义掩模头,背景感知 RPN 和同步背景策略,并在基于 MS-COCO 数据集的新基准测试中取得了良好的性能,这将成为零样本目标实例分割领域未来研究的坚实基础。
Apr, 2021
ContrastZSD 是一种用于零样本目标检测的基于语义指导对比学习的检测框架,它通过引入显式的语义指导和对比学习机制,来优化模型对未见过类别的认知,同时改善视觉特征结构以实现更好的视觉 - 语义对齐。
Sep, 2021
本文提出了一种解决零样本目标检测问题的方法,并通过使用视觉 - 语义嵌入,背景感知方法,以及使用大量类别语义标签的辅助数据来解决仅有少数训练类别的问题。在 MSCOCO 和 VisualGenome 两个标准检测数据集上进行实验,验证了该方法的有效性。
Apr, 2018
本文提出了一个新的任务:零样本语义分割,要求学习像素级分类器从未见过的物体类别中进行分类。ZS3Net 是本文提出的一种新架构,它将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合,以实现在测试时间处理已见和未见类别的像素分类任务。本文还通过自我训练进一步提高了性能,并在 Pascal-VOC 和 Pascal-Context 两个标准分割数据集上提出了零样本基准并设立竞争基线。此外,对于像 Pascal-Context 数据集中的复杂场景,我们通过使用图形上下文编码来完全利用来自类别分割地图的空间上下文先验知识。
Jun, 2019
本文关注于零样本学习中如何挖掘物体的区分特征,提出了基于语义导向的多注意力定位模型,该模型通过发现物体最区分性的部分实现了零样本学习且不需要任何人工标注。在三个广泛使用的零样本学习基准测试上的综合实验表明,该模型及其提出的方法在很大程度上提高了现有技术水平的效果。同时,该方法对整个物体以及检测到的部分学习了协同的全局和局部特性,基于语义描述对物体进行分类。
Mar, 2019
本文提出了一种新的基于分割标签的应对零样本图像语义分割任务的方法 ——ZegFormer,采用无类别分组任务(class-agnostic grouping task)和基于分割标签的零样本分类任务(zero-shot classification task on segments)两个子任务,引入大规模视觉语言模型(如 CLIP),在 PASCAL VOC 和 COCO-Stuff 等数据集上取得了较大的性能提升。
Dec, 2021
本研究提出了一种基于语义一致性的零样本学习框架,在训练、特征合成和分类的所有阶段都强制执行语义一致性,并采用反馈循环来迭代地优化生成的特征,实验证明该方法在六个零样本学习基准任务上表现优异。
Mar, 2020
通过在语义空间和模型空间中相互协作的 “幻影” 对象类的优化,实现了零样本学习的最优判别性能,克服了训练阶段没有示例的难题。
Mar, 2016
提出一种零样本方法,该方法通过训练一个将语义属性预测与视觉特征融合以提出所观察到和未观察到对象类别的目标边界框的端到端模型,不使用语义信息,在测试时能明显提高针对未知对象的平均精度,应用于 PASCAL VOC 和 MS COCO 数据集时观察到显著改进。
Mar, 2018
本文提出了一种新的零样本学习模型,利用语义嵌入空间中的聚类结构来对已知对象的类别语义描述和示例进行建模,并通过训练多个基于核的回归器来实现语义表示 - 范例对的结构约束,从而在包括 ImageNet 数据集在内的标准基准数据集上显着优于现有的零样本学习方法。
May, 2016