通用零样本分割的原始生成和语义相关对齐
为了更好地推广到看不见的类别,我们提出了条件令牌对齐和循环转换 (CONCAT),以生成具有普适性的语义视觉查询,经过实验,在零样本全景分割 (ZPS) 上取得了 5.2% 的 hPQ 提高,并在测试中比 SOTA 快 2 倍。
Feb, 2024
本文针对广义零样本学习任务,提出了一种新颖的语义分离框架,使用条件 VAE 将未见过的类别的视觉特征分解为与语义一致、不相关的潜在向量,并且通过相关性惩罚和关系网络确保两个分解表示之间的独立性和语义一致性。在四个广义零样本学习基准数据集上的实验表明,由该框架分离出的语义一致特征在规范化和广义零样本学习任务中更具普适性。
Jan, 2021
本文提出了一种利用 GAN 进行视觉数据合成的框架来解决零样本视频分类问题,并结合多级语义推理和匹配感知的互信息相关来提高合成视频特征的鉴别能力,实验结果表明这种方法可以显著提高零样本视频分类的性能。
Apr, 2018
本文介绍了一种用于零样本点云语义分割的新型框架,该框架利用了几何基元以在训练期间进行类别之间的知识转移,并使用未知感知信息熵来校准视觉与语义表示。通过大量实验,该方法在 S3DIS、ScanNet 和 SemanticKITTI 数据集上的 hIoU 指标得到了显著提升。
Oct, 2022
本文提出了一种基于边界感知回归和语义一致性损失实现零样本语义分割任务的方法,并将其与 Apollonius 校准技术相结合,提高了分类器的泛化性能。实验结果表明该方法在标准数据集上实现了最先进的性能表现。
Aug, 2021
本文提出了一种上下文感知特征生成方法,命名为 CaGNet,通过引入上下文模块来捕获像素级别的上下文信息,并从语义词嵌入中生成更丰富和上下文感知的特征,从而实现了零样本语义分割任务中的最先进结果。
Aug, 2020
本文提出了一种新颖的广义零样本学习(GZSL)方法,它对训练期间的未见图像和未见语义向量具有不可知性。通过提出一种视觉实例的低维嵌入来打破视觉 - 语义间隙,并借助一个新的视觉神谕来量化噪声语义数据的影响,以提高准确性。在一系列数据集上用图模型进行推理的实验结果显示,该方法在语义和视觉监督下均明显优于现有技术。
Nov, 2018
从场景的 RGB-D 图像中,我们提出了一种零样本全景重建方法,该方法利用开放词汇实例分割并利用密集广义特征传播部分标签和构建 3D 实例图进行关联来解决场景的全景分割和实例关联挑战。
Jul, 2024
本文提出了一种新的零样本学习模型,利用语义嵌入空间中的聚类结构来对已知对象的类别语义描述和示例进行建模,并通过训练多个基于核的回归器来实现语义表示 - 范例对的结构约束,从而在包括 ImageNet 数据集在内的标准基准数据集上显着优于现有的零样本学习方法。
May, 2016
本研究提出了一种基于语义一致性的零样本学习框架,在训练、特征合成和分类的所有阶段都强制执行语义一致性,并采用反馈循环来迭代地优化生成的特征,实验证明该方法在六个零样本学习基准任务上表现优异。
Mar, 2020