RAFIC:检索辅助的少样本图像分类
提出了 Retrieval Augmented Classification (RAC) 方法,并应用于解决长尾分类问题,通过显式引入检索模块,使用非参数化外部内存信息显著提高了 Places365-LT 和 iNaturalist-2018 数据集的性能,尤其是在尾部类别上,为计算机视觉体系结构中更有效地利用外部存储器提供了替代方案。
Feb, 2022
通过少样本学习方法,我们提出了一种基于超网络的方案,通过在图像检索中协助用户反馈的快速调整,实现了在多个基准测试和两个附加任务上全面验证的优越性能,并在 IRRF 中超越了强基线模型,同时也在少样本开放集识别的二进制分类任务中取得了富有竞争力的结果。
Dec, 2023
我们的研究探索了检索增强学习(RAL)在少样本识别中的应用。在这项工作中,我们提出了利用 Vision-Language Models(VLMs)进行 finetuning 的两个阶段方法:第一阶段对混合数据进行端到端 finetuning,第二阶段仅使用少样本数据重新训练分类器。实验证明,该方法在标准基准数据集上取得了最佳性能,准确度比现有方法提高了约 10%。
Jun, 2024
本文提出了一种使用词嵌入作为多标签图像分类问题的先验知识的解决方案,在少量训练数据的情况下,通过聚合支持图像的本地特征图来获取视觉原型,并通过注意力机制基于标签嵌入来确定相关区域,其在 COCO 和 PASCAL VOC 实验中均优于现有最新成果。
Dec, 2021
本文提出了一种基于内部语义关系的交互心理测量学方法,旨在解决少样本图像分类问题中标签监督性与复杂概念关系不兼容的挑战性场景,实验结果表明我们的方法在 CIFAR-100 数据集上有很好的表现以及优越性。
Dec, 2021
本文探究 Few-Shot Class-Incremental Learning(FSCIL)这个重要任务及其数据稀缺性的极端条件,并提出了一种称为 Augmented Angular Loss Incremental Classification(ALICE)的模型来解决该问题。实验证明,相比于现有的 FSCIL 方法,ALICE 具有更好的性能。
Jul, 2022
该研究重点关注 CNN 模型在少数有标记样本的情况下如何对新类别进行增量式学习,并提出了基于神经气网络的知识表示和 TOpology-Preserving knowledge InCrementer (TOPIC) 框架来解决这一问题,实验结果表明该方法在几个数据集上优于当前最先进的类增量学习方法。
Apr, 2020
我们在零样本学习(Zero-Shot Learning,ZSL)和广义零样本学习(Generalized Zero-Shot Learning,GZSL)的环境中提供了对文档图像分类进行全面分析的方法和评价,同时提出了适用于 RVL-CDIP 数据集的零样本划分和一个名为 CICA 的框架,该框架通过引入一种全新的 ' 内容模块 ',可以提升 CLIP 的零样本学习能力,我们的模块只增加了 CLIP 的 3.3% 参数,并将其 ZSL 的 Top-1 准确率提高了 6.7%,GZSL 的调和平均值提高了 24%,这项工作为零样本文档分类的未来研究指明了方向。
May, 2024
本文提出了一种迭代式视觉知识完善(KCL)方法,通过正确利用未标记样本来补充视觉知识,以应对少样本学习中存在的分类偏差问题。经过多次迭代,收集更多样本以逐步稳定和完善视觉知识。实验结果表明,KCL 在少样本和零样本学习设置下作为即插即用模块具有有效性和高效性。
Apr, 2024
我们介绍了一种创新的 FSCIL 框架,利用语言正则化器和子空间正则化器,该框架不仅能够使模型拥抱有限数据的新类别,还能确保对基础类别的性能保持,通过在基础训练阶段利用视觉 - 语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。
May, 2024