图像分类的标签嵌入
本文介绍了一种简单的图像嵌入系统构建方法,可以从现有的任何n-way图像分类器和语义词嵌入模型中构建,该方法通过使用类标签嵌入向量的凸组合将图像映射到语义嵌入空间中,不需要进行额外的训练,该方法在ImageNet零样本学习任务上表现优异。
Dec, 2013
本文研究了基于图像和类别嵌入来实现零样本学习,使用无监督学习得出的输出嵌入方法可达到比之前任何监督方法表现更好的分类效果,从而大大降低了对于细分类别标注数据的需求。
Sep, 2014
通过Multi-Instance visual-semantic Embedding model (MIE)模型,我们可以发现和映射成对应标签的语义意义的图像子区域,有效提升了多标签图像注释和零样本学习任务的性能。
Dec, 2015
本文介绍了一种用于训练多标签、大规模多类别图像分类模型的方法,通过将高维稀疏标签嵌入到具有单位范数的低维密集球体上,并将分类问题视为该球体上余弦相似度回归问题,其比基于逻辑回归的sigmoid交叉熵损失函数的监督方法更快更准确,经过在300 million高分辨率图像和17,000标签的数据集上测试,相对于逻辑回归,该方法收敛速度明显提高,平均精度也提高了7%。
Jul, 2016
本文提出了一种新的零样本图像分类方法,通过度量学习来控制图像的语义嵌入,实现了不需要在训练阶段使用类别的零样本学习,仅需在地面实况中提供以图像/属性为对的约束关系,使得学习模型可以预测一个测试图像与给定属性的一致性,并且该方法在四个挑战性数据集上取得了最好的效果。
Jul, 2016
本文提出了一种基于属性的无监督学习方法,通过学习将类别嵌入与属性耦合的关系模型,来自动预测未见过的类别与属性之间的关联,并支持跨数据集的属性传递。实验证明,该方法在Animals with Attributes 和 aPascal/aYahoo数据集上的性能优于现有方法。
Oct, 2016
本论文提出了一种基于名称的无监督零样本学习方法,通过区别性地学习单词表示,使得类别和属性名称的相似性与视觉相似性相符,突破了传统零样本学习方法依赖属性特征标注的限制,并且能够在纯文本数据上进行训练,实验结果表明该方法在三个基准数据集上取得了最先进的性能。
May, 2017
该研究介绍一种用于多标签零样本学习的神经网络模型训练方法,该方法使用具有主要嵌入向量的嵌入矩阵并在训练期间加权损失函数以鼓励嵌入矩阵多样化,以提高基于标签的图像检索的零样本模型的质量。该方法在多个常见数据集(NUS-Wide,COCO, Open Images)上实现了SoTA的结果。
May, 2021
提出一种基于属性本地化的图像表示学习框架,通过视觉语义嵌入层学习全局特征,并通过属性原型网络同时回归和解相关属性,为任意样本,包括零样本和少样本图像分类任务提供有益的属性知识转移,并引入变焦模块以局部化和裁剪信息区域鼓励网络显式地学习最有效的特征。此外,该模型通过视觉化和用户研究定量和定性评估属性本地化能力,并在三个基准测试中取得新的最优结果。
Apr, 2022
本研究针对目标属性识别的组合式零样本学习问题,提出了一种新颖的体系结构,用于在视觉空间中区分属性和对象特征并使用视觉分解特征产生代表性的嵌入,旨在更好地正则化模型的学习,实验结果表明我们的方法在MIT-States,UT-Zappos和基于VAW的新基准上的性能显著优于现有工作。
May, 2022