Apr, 2024

鹰眼狐耳: 通用零样本学习的部分原型网络

TL;DR当前的广义零样本学习方法基于单一类别属性向量表示整个图像,这是对新颖类别识别过程的过度简化,因此图像的不同区域可能具有来自不同已见类别的属性并具有不同的主导属性。在此基础上,我们采用一种根本不同的方法:使用对属性信息敏感的预训练视觉语言检测器(VINVL)有效获取区域特征,然后使用学习到的函数将区域特征映射到区域特定属性注意力,并构建类别部件原型。我们在包含CUB、SUN和AWA2数据集的流行广义零样本学习基准测试中进行实验证明,我们提出的部件原型网络(PPN)与其他流行的基础模型相比取得了有希望的结果。相应的消融研究和分析表明,我们的方法在局部提案可用时具有明显的优势,且非常实用。