通用零样本识别的数据分布提取生成模型

AAAIFeb, 2024

通用零样本识别的数据分布提取生成模型

Data Distribution Distilled Generative Model for Generalized Zero-Shot Recognition

Yijie Wang, Mingjian Hong, Luwen Huangfu, Sheng Huang

TL;DR通过引入端到端生成式 GZSL 框架 D^3GZSL 并采用 ID^2SD 和 O^2DBD 两个核心模块，我们解决了 GZSL 模型中偏向于已见数据的偏见问题，并通过将已见和合成的未见数据作为内分布和外分布数据分别对待，以实现模型的更好平衡。D^3GZSL 在嵌入和标签空间中对齐教师和学生的结果，增强了学习的一致性，并且通过在每个批次样本中引入低维度的外分布表示，捕捉了已见和未见类别之间的共享结构。我们的方法在已有的 GZSL 基准测试中展示了其有效性，并可以无缝地集成到主流的生成式框架中。大量实验一致表明，D^3GZSL 提升了现有生成式 GZSL 方法的性能，凸显了其优化零样本学习实践的潜力。

Abstract

In the realm of zero-shot learning (ZSL), we address biases in Generalized zero-shot learning (GZSL) models, which favor seen data. To counter this, we introduce an end-to-end generative GZSL framework called D$^

zero-shot learning generalized zero-shot learning d^3gzsl in-distribution dual space distillation out-of-distribution batch distillation

发现论文，激发创造

探索基于扩散模型的零样本学习中的数据有效性

ZeroDiff 是一种基于扩散的生成零样本学习模型，通过在类和实例级别改善数据效率，以提高有限数据的零样本识别能力。

Jun, 2024

解构式基于生成的零样本模型

本文针对广义零样本学习领域内的生成模型方法进行了探究和拆解，并提出了基于类级别和实例级别分布的属性泛化及部分偏置数据的独立分类器学习方法。实验证明本文提出的方法在公共数据集上性能优于当前最先进算法，同时该方法即使没有生成模型仍然有效，这是对生成 - 分类器结构的进一步简化。

Apr, 2022

基于熵的不确定性校准用于广义零样本学习

提出一种新的框架，利用双重变分自编码器和三元组损失学习区分性潜在特征，并应用基于熵的校准来最小化见和未见类之间重叠区域的不确定性，在六个基准数据集上进行的实验表明，该方法胜过现有的最先进方法。

Jan, 2021

一种基于边界的广义零样本学习外域分类器

本文提出了一种基于边界的 Out-of-Distribution 分类器来解决 Generalized Zero-Shot Learning 问题，其利用共享的潜在空间，在单位超球上对视觉特征和语义属性的潜在分布进行按类别对齐，并通过类中心和边界将未见过的样本与已见过的进行分离，经验证在常见的五个基准数据集上，该方法超越了现有方法的性能表现。

Aug, 2020

基于数据无关的广义零样本学习

基于 CLIP 基类分类器的无数据零样本学习方法提出了一个通用框架，该框架包含三个主要组成部分：基于 vMF 分布建模基类数据的虚拟特征恢复、特征 - 语言输入调整以进一步对齐虚拟图像特征和文本特征、使用对齐后的特征训练条件生成模型，可以生成新类别的特征并实现更好的零样本泛化。在常用的五个广义 ZSL 基准和 11 个基类到新类别 ZSL 基准上进行了评估，结果显示了该方法的优越性和有效性。

Jan, 2024

泛零样本学习的语义分离

本文针对广义零样本学习任务，提出了一种新颖的语义分离框架，使用条件 VAE 将未见过的类别的视觉特征分解为与语义一致、不相关的潜在向量，并且通过相关性惩罚和关系网络确保两个分解表示之间的独立性和语义一致性。在四个广义零样本学习基准数据集上的实验表明，由该框架分离出的语义一致特征在规范化和广义零样本学习任务中更具普适性。

Jan, 2021

生成式零样本学习用于三维点云语义分割

本研究提出了一种新的基于生成模型的零样本学习方法，能够处理包括分类和语义分割在内的三维数据，在 ModelNet40 数据集上表现良好，并在 S3DIS，ScanNet 和 SemanticKITTI 数据集上进行了验证。

Aug, 2021

SEER-ZSL: 通用零样本学习的语义编码增强表示

通过创新性的编码器和组合损失函数，本论文介绍了一种双重策略来解决广义零样例学习中的泛化差距，并提出了一套新的评估指标，以更详细地评估结果的可信度和可复现性。

Dec, 2023

多模态循环一致的广义零样本学习

本研究提出了基于对生成对抗网络训练的新规则的多模态循环一致性语义兼容性的方法，可以用于合成更具代表性的视觉表示，从而在几个公开可用的数据集中展现出最佳的广义零样本学习分类结果。

Aug, 2018

广义零样本学习方法综述

本文综述了广义零样本学习（GZSL）的问题及挑战，展示了一种分层分类方法，并讨论了每个类别中的代表性方法，同时探讨了 GZSL 可用的基准数据集和应用以及未来研究方向。

Nov, 2020