演变的语义原型提升生成式零样本学习
该论文介绍了一个基于 Episode 的训练框架,用于零样本学习,其中模型在多个 Episode 中进行训练,通过逐步积累集成经验来预测模拟的看不见的类,以便在真实的看不见的类上进行良好的泛化,提出了一种新的生成模型,通过生成视觉原型并以课程语义原型为条件,确保视觉语义交互相匹配,并在对抗性框架中对抗参数经济的多模态交叉熵损失以捕捉区分性信息,经过多次实验发现,该模型在四个数据集的传统 ZSL 和广义 ZSL 任务中都优于现有的最先进方法。
Sep, 2019
本研究提出了一种基于数据合成和竞争双向投影学习的零样本和少样本学习模型,在语义空间和特征空间之间学习了一个鲁棒的投影函数,并将它应用于语义数据的合成和模糊的非监督训练中,取得了最先进的结果。
Oct, 2018
通过充分利用视觉增强知识进入语义条件,我们提出了一种名为 VADS 的新型视觉增强动态语义原型方法,用于增强生成器学习准确的语义 - 视觉映射,实验证明我们的方法在三个知名数据集上取得了卓越的 CZSL 和 GZSL 性能,并且优于其他最先进方法,平均增加了 6.4%、5.9%和 4.2%。
Apr, 2024
本文针对广义零样本学习任务,提出了一种新颖的语义分离框架,使用条件 VAE 将未见过的类别的视觉特征分解为与语义一致、不相关的潜在向量,并且通过相关性惩罚和关系网络确保两个分解表示之间的独立性和语义一致性。在四个广义零样本学习基准数据集上的实验表明,由该框架分离出的语义一致特征在规范化和广义零样本学习任务中更具普适性。
Jan, 2021
本文提出了一种基于耦合字典学习的零样本学习方法,该方法通过利用种类原型中的区分性信息来对齐视觉 - 语义结构,进而提高不太具有区分性的语义空间的表现,并通过简单的最近邻方法在不同空间上执行零样本识别。在四个基准数据集上的实验证明了该方法的有效性。
Jul, 2018
采用概率生成建模的方法,基于潜在空间中的原型及其语义关系,生成虚拟的未见类实例以解决直接迁移学习中存在的域偏移问题,实验结果表明该模型优于现有零样本学习方法。
May, 2017
本文提出了一种新颖的广义零样本学习(GZSL)方法,它对训练期间的未见图像和未见语义向量具有不可知性。通过提出一种视觉实例的低维嵌入来打破视觉 - 语义间隙,并借助一个新的视觉神谕来量化噪声语义数据的影响,以提高准确性。在一系列数据集上用图模型进行推理的实验结果显示,该方法在语义和视觉监督下均明显优于现有技术。
Nov, 2018
本文针对零样本学习中的交叉域匹配问题,详细探讨优秀的 embedding 空间应满足的两个标准:类内紧度和类间可分性,并提出了一种基于两个分支网络的方法来同时映射语义描述和视觉样本到 joint 空间,并在其中强制要求视觉嵌入与类级语义嵌入相同,同时实现区分可训练分类器,实现跨未知类别输入的优化过程。此外,我们还扩展了我们的方法来处理 ZSL 中的模型偏差问题,并在五个标准数据集上获得了卓越的性能。
Aug, 2018
我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer(ZSLViT),通过语义嵌入令牌学习改进视觉 - 语义对应关系,发现语义相关的视觉令牌,并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息,从而在零样本学习中实现准确的视觉 - 语义交互作用,我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。
Apr, 2024
本文提出了一种利用 GAN 进行视觉数据合成的框架来解决零样本视频分类问题,并结合多级语义推理和匹配感知的互信息相关来提高合成视频特征的鉴别能力,实验结果表明这种方法可以显著提高零样本视频分类的性能。
Apr, 2018