多领域零样本语义分割的评估
本文介绍了 MSeg 数据集,它统一了不同领域的语义分割数据集,消除了不一致的分类和注释方法,并在零样本交叉数据集转移方面进行了评估,并表明 MSeg 训练可以显著提高模型的鲁棒性和泛化能力。
Dec, 2021
该论文介绍了一种使用预训练的图像 - 语言模型进行零样本学习的语义分割方法,将预训练模型中的视觉概念知识转化为分割区域的语义信息表示(即 segment tokens)并应用于视觉语义分割任务中。实验结果表明,该方法在多个公共基准数据集上可以达到与有监督训练方法相竞争的效果。
Jun, 2023
本文提出了一个新的任务:零样本语义分割,要求学习像素级分类器从未见过的物体类别中进行分类。ZS3Net 是本文提出的一种新架构,它将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合,以实现在测试时间处理已见和未见类别的像素分类任务。本文还通过自我训练进一步提高了性能,并在 Pascal-VOC 和 Pascal-Context 两个标准分割数据集上提出了零样本基准并设立竞争基线。此外,对于像 Pascal-Context 数据集中的复杂场景,我们通过使用图形上下文编码来完全利用来自类别分割地图的空间上下文先验知识。
Jun, 2019
通过使用冻结的仅包含视觉信息的模型和融合离散文本和语言知识的方式,我们提出了 SimZSS,一种用于开放性词汇的零样本分割的简单框架。在仅使用图像 - 标题对数据集进行训练的情况下,我们的方法利用了视觉表示的质量,并在不到 15 分钟的时间内在 8 个基准数据集中的 7 个上实现了最先进的结果。
Jun, 2024
我们提出了一种新的零样本目标实例分割任务,并提出了一种用于解决此挑战的方法,该方法包括零样本检测器,语义掩模头,背景感知 RPN 和同步背景策略,并在基于 MS-COCO 数据集的新基准测试中取得了良好的性能,这将成为零样本目标实例分割领域未来研究的坚实基础。
Apr, 2021
该研究介绍一种用于多标签零样本学习的神经网络模型训练方法,该方法使用具有主要嵌入向量的嵌入矩阵并在训练期间加权损失函数以鼓励嵌入矩阵多样化,以提高基于标签的图像检索的零样本模型的质量。该方法在多个常见数据集(NUS-Wide,COCO, Open Images)上实现了 SoTA 的结果。
May, 2021
本文提出了一种新的基于分割标签的应对零样本图像语义分割任务的方法 ——ZegFormer,采用无类别分组任务(class-agnostic grouping task)和基于分割标签的零样本分类任务(zero-shot classification task on segments)两个子任务,引入大规模视觉语言模型(如 CLIP),在 PASCAL VOC 和 COCO-Stuff 等数据集上取得了较大的性能提升。
Dec, 2021
本研究提出使用自我生成伪标签来捕捉未标注图像数据中的潜在信息,在同一张图像的不同数据增强生成的多个伪标签交集的一致性正则化过滤噪声伪标签,结合人工标注数据重新训练模型,并不断迭代,以此达到在复杂的零标签语义分割场景下进行广义分类的任务的最新最优结果。
Apr, 2021
本文提出了一种新的零样本图像分类方法,通过度量学习来控制图像的语义嵌入,实现了不需要在训练阶段使用类别的零样本学习,仅需在地面实况中提供以图像 / 属性为对的约束关系,使得学习模型可以预测一个测试图像与给定属性的一致性,并且该方法在四个挑战性数据集上取得了最好的效果。
Jul, 2016
本研究使用混合模型解决无类别学习问题,通过学习相似度函数来映射源数据和目标数据到同一语义空间中,并在交叉验证的过程中联合优化参数,该方法在零样本识别的基准测试数据集上达到了显著的精确度提高。
Sep, 2015