通过对齐变分自编码器实现广义零样本和少样本学习

CVPRDec, 2018

通过对齐变分自编码器实现广义零样本和少样本学习

Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders

Edgar Schönfeld, Sayna Ebrahimi, Samarth Sinha, Trevor Darrell, Zeynep Akata

TL;DR本研究提出了一种基于变分自编码器的模型，通过学习图像特征和类别嵌入的共享潜在空间生成潜在特征，并在其中训练 softmax 分类器，以构建包含未知类别的本质多模态信息的潜在特征。在多个基准数据集上的实验表明，该方法在零样本学习和少样本学习方面取得了最新的最佳表现，并且在各种零样本分割的 ImageNet 上，该方法的潜在特征可以在大规模的情况下进行很好的泛化。

Abstract

Many approaches in generalized zero-shot learning rely on cross-modal mapping between the image feature space and the class embedding space. As labeled images are expensive, one direction is to augment the dataset by generating either images or image features. However, the former misse

zero-shot learning variatonal autoencoder latent space multimodal information few-shot learning

发现论文，激发创造

使用多模态变分自编码器和语义概念进行广义零样本学习

我们提出了一个多模态变分自编码器 (M-VAE)，能够在学习图像特征和语义空间之间的共享潜在空间上，通过使用多模态损失来拟合多模态数据。该方法可用于预测新样本，且实验结果表明在广义零样本学习方面，我们提出的模型优于当前最先进的方法。

Jun, 2021

一种使用条件变分自编码器进行零样本学习的生成模型

这篇文章研究了零样本学习在图像分类中的应用，提出了一种基于条件变分自编码器的生成模型方法，用于模拟未见过的样本，获得更好的分类性能。

Sep, 2017

泛零样本学习生成对抗网络

本文研究了广义零样学习问题，提出了一种新的模型联合了三种不同的方法：视觉 -> 语义映射，语义 -> 视觉映射和度量学习，并且将它们统一在一个框架内，最终的实验结果表明该模型不仅在分类已知类别的图像上具有较高的准确性，而且在分类未知类别的图像上性能也比现有的最先进模型要更好。

Nov, 2018

基于类条件深度生成模型的零样本学习

本论文提出了一个利用深度生成模型进行类预测的研究方法，不同于其他类似方法依赖于语义嵌入，我们基于属性条件设计了特定于类别的潜在空间分布，并利用这些潜在空间分布作为监督变分自编码器的先验，使其有更强的区分特征表达能力；同时通过无监督学习利用未标记的未见类别数据进行半监督 / 转导学习，并在少样本学习下与现有方法进行了对比测试。

Nov, 2017

f-VAEGAN-D2: 一种适用于任意样本学习的特征生成框架

本文提出了一种结合 VAE 和 GANs 的条件生成模型，同时通过无条件鉴别器，学习未标记图像的边缘特征分布，在归纳和传递性学习设置中，对任意量少量学习问题进行处理，并在五个数据集中建立了新的零 - 阈值学习的最新技术。同时，证明学习到的特征是可解释的。

Mar, 2019

AVGZSLNet: 多模嵌入重构标签特征的音视频广义零样本学习

本文提出了一种新的多模式推广零样本学习方法，使用文本嵌入的语义相关性将音频和视频嵌入与相应类别标签文本特征空间对齐，使用交叉模态解码器和组合三元组损失，在多模态设置中来执行零样本学习，实验证明该方法在各种模态下的推广零样本分类和检索任务中都优于其他模型。

May, 2020

通过合成样例实现广义零样本学习

针对非离散训练和测试类别的广义零样本学习，本文提出了一种基于变分自编码器的生成性框架，该框架包括概率编码器和概率条件解码器。通过一个反馈机制，研究者用一个发生器生成来自已知 / 未知类别的新样本，然后将这些样本用于训练任何现成的分类模型。本文的模型在广义零样本学习方案中，可以从未知类别生成样本来训练模型，从而减少对已知类别的偏见。在多个基准数据集上的实验结果表明，相比多个最先进方法，本文的模型表现更好。

Dec, 2017

学习基于图的先验知识用于广义零样本学习

本篇论文研究了利用标签信息、属性以及关系图加强零样本学习和广义零样本学习，基于这个方法，本文在 CUB 和 SUN 数据集上取得了比强基线更好的结果。

Oct, 2020

多模式深度生成模型的变分混合专家自编码器

本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

Nov, 2019

跨模态关注和语言的视听通用零样本学习

该论文提出了基于视频和音频数据的零样本学习方法，通过跨模态注意力学习多模态表示，并利用文本标签嵌入将知识从已见类别转移到未见类别，并在三个不同规模和难度的音视频数据集上进行了基准测试，结果表明，所提出的 AVCA 模型在所有三个数据集上均取得了最先进的性能。

Mar, 2022