基于语义的零样本学习视觉嵌入

CVPRJan, 2022

Semantically Grounded Visual Embeddings for Zero-Shot Learning

Shah Nawaz, Jacopo Cavazza, Alessio Del Bue

TL;DR提出了一种称为 joint embeddings for zero-shot learning 的方法，通过计算代理任务上的两流网络中的联合图像和文本模型来学习语义基础和丰富的视觉信息，并利用辅助字幕来提高图像和文本表示之间的对齐，从而在多个基准数据集上评估了该方法，在标准的（aPY 上 + 1.6％，FLO 上 + 2.6％）和常规的（AWA2 上 + 2.1％，CUB 上 + 2.2％）零 - shot 识别中提高了现有最先进方法的性能。

Abstract

zero-shot learning methods rely on fixed visual and semantic embeddings, extracted from independent vision and language models, both pre-trained for other large-scale tasks. This is a weakness of current

zero-shot learning visual embeddings semantic embeddings two-stream network ancillary captions

发现论文，激发创造

基于视觉语义嵌入的广义零样本识别

本文提出了一种新颖的广义零样本学习（GZSL）方法，它对训练期间的未见图像和未见语义向量具有不可知性。通过提出一种视觉实例的低维嵌入来打破视觉 - 语义间隙，并借助一个新的视觉神谕来量化噪声语义数据的影响，以提高准确性。在一系列数据集上用图模型进行推理的实验结果显示，该方法在语义和视觉监督下均明显优于现有技术。

Nov, 2018

零样本图像检索的视觉 - 语义嵌入方法综述

本文关注零样本图像检索，使用句子作为查询条件，概述了该领域的技术趋势，包括图像与文本匹配的历史、常用的数据集和方法的评估结果，并介绍了 Github 上的实现，旨在鼓励研究者进一步发掘语言与图像之间的联系。

May, 2021

视觉和文本嵌入的零样本文本到图像定制的协调

通过引入正交视觉嵌入并利用自我注意力交换，我们提出了一种高效维护主题身份的方法，以解决文本到图像模型中遭遇的问题，并展示了该方法的效果和鲁棒性。

Mar, 2024

通过语义嵌入的凸组合实现零样本学习

本文介绍了一种简单的图像嵌入系统构建方法，可以从现有的任何 n-way 图像分类器和语义词嵌入模型中构建，该方法通过使用类标签嵌入向量的凸组合将图像映射到语义嵌入空间中，不需要进行额外的训练，该方法在 ImageNet 零样本学习任务上表现优异。

Dec, 2013

学习鲁棒的视觉 - 语义嵌入

该研究提出了一种基于无监督学习和深度神经网络的终端到终端学习框架，结合自编码器和最大均值差异损失来学习语义和视觉特征的联合嵌入，实现了跨域多模态表示的提取，并构建了更全面的标记和未标记数据的嵌入，帮助从归纳到传导的范围内解决零样本和少样本图像识别和检索等各种复杂任务。

Mar, 2017

零样本学习中预测未见类别的视觉典型

本文提出了一种新的零样本学习模型，利用语义嵌入空间中的聚类结构来对已知对象的类别语义描述和示例进行建模，并通过训练多个基于核的回归器来实现语义表示 - 范例对的结构约束，从而在包括 ImageNet 数据集在内的标准基准数据集上显着优于现有的零样本学习方法。

May, 2016

跨模态图像 - 文本联合嵌入的网络监督检索

文章提出了利用网络图像及对应标签实现鲁棒视觉 - 语义联合嵌入学习的方法，通过在有限的训练数据中引入弱标注的网络图像能够取得比当前最先进方法更显著的图像 - 文本检索性能提升。

Aug, 2018

ZeroCap：面向视觉语义算术的零样本图像到文本生成

本文介绍了一种将视觉语义模型和大型语言模型相结合的技术，实现了对图像生成描述性文本的能力，且可用于图像算术和视觉类比等高级视觉能力的应用。

Nov, 2021

GroundVLP：从视觉语言预训练和开放词汇对象检测中利用零样本视觉定位

通过现有的图像 - 文本配对模型和纯物体检测数据，我们提出了一种名为 GroundVLP 的简单而有效的零样本方法，该方法结合了 GradCAM 热力图和开放词汇检测器的对象提案，用于捕捉视觉环境并解决视觉定位任务中数据标注不足的挑战，实验结果显示该方法在 RefCOCO/+/g 数据集上超过了现有零样本方法的 28％，并且在 Flickr30k 实体数据集上与一些非 VLP 的有监督模型表现相当甚至更好。

Dec, 2023

AVGZSLNet: 多模嵌入重构标签特征的音视频广义零样本学习

本文提出了一种新的多模式推广零样本学习方法，使用文本嵌入的语义相关性将音频和视频嵌入与相应类别标签文本特征空间对齐，使用交叉模态解码器和组合三元组损失，在多模态设置中来执行零样本学习，实验证明该方法在各种模态下的推广零样本分类和检索任务中都优于其他模型。

May, 2020