基于词汇信息的零样本学习和开放集学习
本文介绍了一种简单的图像嵌入系统构建方法,可以从现有的任何n-way图像分类器和语义词嵌入模型中构建,该方法通过使用类标签嵌入向量的凸组合将图像映射到语义嵌入空间中,不需要进行额外的训练,该方法在ImageNet零样本学习任务上表现优异。
Dec, 2013
本文介绍了一种基于最大边距框架的语义流形识别方法,并提出了半监督词汇知识学习的概念,从而实现监督学习、零样本学习和开放式识别的统一框架。该方法在 AwA 和 ImageNet 数据集上的结果显示出了改进。
Apr, 2016
本文提出可以解决识别来自已知类别与未知类别的图像的冲突的校准方法,探讨了零样本学习的generalized zero-shot learning的问题,并提出了评估模型性能的评价指标。研究结果表明当前模型表现与理想语义嵌入间的差异,强调改进类别语义嵌入对于GZSL的重要性。
May, 2016
本文提出了一种新的零样本学习模型,利用语义嵌入空间中的聚类结构来对已知对象的类别语义描述和示例进行建模,并通过训练多个基于核的回归器来实现语义表示-范例对的结构约束,从而在包括ImageNet数据集在内的标准基准数据集上显着优于现有的零样本学习方法。
May, 2016
本文提出了一种新的零样本图像分类方法,通过度量学习来控制图像的语义嵌入,实现了不需要在训练阶段使用类别的零样本学习,仅需在地面实况中提供以图像/属性为对的约束关系,使得学习模型可以预测一个测试图像与给定属性的一致性,并且该方法在四个挑战性数据集上取得了最好的效果。
Jul, 2016
本研究旨在通过利用语义空间流形与视觉-语义映射之间的内在关系来解决零样本识别问题,并提出了一个包含两条双重视觉-语义映射路径的框架,可以提高视觉-语义映射的迁移能力,并在四个基准数据集上取得了优异的结果。
Mar, 2017
本研究针对零样本学习领域,将语义信息与属性相关联,通过使用一组关系来利用属性所张成的空间结构,提出了一种方法,在嵌入空间中保留这些关系的目标函数,从而导致嵌入空间的语义性的提高。通过在五个基准数据集上进行广泛的实验评估,我们证明了欲使嵌入空间语义化对零样本学习有益。该方法在标准零样本设置以及更加现实的广义零样本设置上均优于现有技术,同时演示了该方法如何对于对于某个没有属性信息的图像做出近似的语义推断是有用的。
Mar, 2018
我们提出了Self Structural Semantic Alignment (S^3A)框架,该框架通过从无标签数据中提取结构语义信息并进行自学习,克服了传统的基于大规模预训练视觉语言模型方法所存在的假设有部分源监督或理想词汇表的限制,通过Cluster-Vote-Prompt-Realign算法实现迭代聚类,利用大语言模型生成辨别性提示来识别混淆的类别候选项,并通过师生学习策略进行自学习,实现了对现实中零样本分类的挑战,多个实验表明该方法明显优于现有的基于VLMs的方法,相对于CLIP平均提高了15%以上的准确性。
Aug, 2023
通过使用大型语言模型(LLMs)生成的类别描述和丰富的细粒度图像分类数据集,我们提出了一种方法来改善视觉-语言模型(VLMs)在细粒度领域的零样本分类性能。通过在训练过程中利用图像-文本监督,我们的方法在鸟类和花卉等新颖类别的零样本分类准确度上平均提高了4-5%。地理先验也被证明对于改善零样本分类同样有效,与视觉特征互补。我们计划发布包含7个数据集的基准测试,以促进未来的零样本识别研究。
Jan, 2024