基于 CLIP 基类分类器的无数据零样本学习方法提出了一个通用框架,该框架包含三个主要组成部分:基于 vMF 分布建模基类数据的虚拟特征恢复、特征 - 语言输入调整以进一步对齐虚拟图像特征和文本特征、使用对齐后的特征训练条件生成模型,可以生成新类别的特征并实现更好的零样本泛化。在常用的五个广义 ZSL 基准和 11 个基类到新类别 ZSL 基准上进行了评估,结果显示了该方法的优越性和有效性。
Jan, 2024
通过引入端到端生成式 GZSL 框架 D^3GZSL 并采用 ID^2SD 和 O^2DBD 两个核心模块,我们解决了 GZSL 模型中偏向于已见数据的偏见问题,并通过将已见和合成的未见数据作为内分布和外分布数据分别对待,以实现模型的更好平衡。D^3GZSL 在嵌入和标签空间中对齐教师和学生的结果,增强了学习的一致性,并且通过在每个批次样本中引入低维度的外分布表示,捕捉了已见和未见类别之间的共享结构。我们的方法在已有的 GZSL 基准测试中展示了其有效性,并可以无缝地集成到主流的生成式框架中。大量实验一致表明,D^3GZSL 提升了现有生成式 GZSL 方法的性能,凸显了其优化零样本学习实践的潜力。
Feb, 2024
本文介绍了基于文本和图像结合模型的生成分类方法,利用如 Stable Diffusion 的扩展图像扩散模型提供的在不需要额外训练的条件概率密度估计,实现了零样本分类,并证明其能够在多种基准测试上获得强大的结果及优于竞争方法的效果,同时还发现与对比差异对比性方法相比,扩散方法在多模式关系推理方面具有更强的能力,并且即使在弱增强和没有正则化的情况下,基于图像的扩散模型也能取得与训练于同一数据集的 SOTA 判别分类器相近的性能。
Mar, 2023
该研究提出了一种能够自动发现显著区域及在增强的空间中学习辨别性语义表征的端到端网络,用于零样本学习中。在两个具有挑战性的零样本学习数据集上测试,实验结果显示该方法明显优于现有最先进的方法。
Mar, 2018
本文提出了两个使用零样本学习(ZSL)系统,该系统使用流形嵌入和自动生成视觉分类器来解决具有未知类的任务,并且在五个类视觉识别基准数据集上表现出卓越的性能。
Dec, 2018
本文探讨了零样本学习方法在解决 ' 缺失数据问题 ' 而非 ' 缺失标签问题 ' 时的有效性,通过将知识从标签嵌入空间转移到图像特征空间,估计未见过的类在图像特征空间的数据分布,实验表明,与现有方法相比,该方法在两个流行数据集上的表现更优
Dec, 2016
通过使用扩散模型的去噪能力作为代理,将零样本分类器应用于 Imagen,探究其知识方面并与 CLIP 进行比较,结果显示 Imagen 与 CLIP 在零样本图像分类方面表现相当,同时在形状 / 纹理偏差测试方面取得了最先进的结果,能够成功地执行属性绑定,而 CLIP 则不能。因此,我们认为应该探索将生成预训练作为一种有吸引力的视觉和视觉语言问题的替代方法。
本文针对广义零样本学习领域内的生成模型方法进行了探究和拆解,并提出了基于类级别和实例级别分布的属性泛化及部分偏置数据的独立分类器学习方法。实验证明本文提出的方法在公共数据集上性能优于当前最先进算法,同时该方法即使没有生成模型仍然有效,这是对生成 - 分类器结构的进一步简化。
Apr, 2022
本文综述了广义零样本学习(GZSL)的问题及挑战,展示了一种分层分类方法,并讨论了每个类别中的代表性方法,同时探讨了 GZSL 可用的基准数据集和应用以及未来研究方向。
Nov, 2020
本文讨论了两种与传统方法相关的工作:利用传导学习 ZSL 和将 ZSL 推广到多标签情况下。
Mar, 2015