多模态小样本类增量细粒度数据学习的简化方法
本研究提出一种用于解决few-shot class incremental learning（FSCIL）问题的蒸馏算法，该算法利用语义信息进行训练，同时提出基于注意机制的方法来对齐视觉和语义向量，从而有效降低了灾难性遗忘的影响，并成功地在MiniImageNet、CUB200和CIFAR100数据集上创下了新的最优结果。
Mar, 2021
通过对齐图像和标题数据，我们训练一个视觉编码器将每个图像表示为一系列连续的嵌入，并使用预先训练的冻结语言模型来生成相应的标题，从而将这种少量样本学习能力转移至多模态设置。该系统是一种多模态少样本学习模型，具有学习各种新任务的惊人能力，如用只有少数几个样例进行视觉问答，或者利用外部知识。
Jun, 2021
本文提出了一种名为CPE-CLIP的参数高效持续学习方法，利用CLIP预训练阶段获取的丰富知识和泛化能力实现类别学习，其结果表明，相比现有方法，CPE-CLIP显著提高了少样本类别增量学习的性能，同时也大大减少了可学习参数和训练成本。
Mar, 2023
使用Contrastive Language-Image Pre-training (CLIP)模型的泛化能力，我们提出了一种创新的FSCIL训练框架，通过为输入图像创建针对图像对象特定属性（如翅膀或轮胎）而非背景的IOS分类器来解决增量会话中编码器表现不佳的问题。通过特定设计的模块利用关键提示对IOS分类器进行编码，以找到每个会话中类别的IOS特征，从而始终保留先前的知识并快速适应新的会话，而不会遗忘或过拟合，在miniImageNet、CIFAR100和CUB200数据集上的实验证明了我们方法相对于最先进方法的优越性能，并通过额外实验验证了我们所学模型实现IOS分类器的能力，并进行了消融研究以分析架构中每个模块的影响。
Sep, 2023
在这篇论文中，我们提出了一种名为Prompt Learning for FSCIL（PL-FSCIL）的新方法，它利用了信息提示和预训练视觉转换器（ViT）模型的能力来有效解决Few-Shot Class-Incremental Learning（FSCIL）所面临的挑战。这项工作首次在FSCIL中使用了视觉提示，具有明显的简单性。PL-FSCIL由两个不同的提示组成：域提示和FSCIL提示，它们通过嵌入到ViT模型的注意层中来增强模型的性能。我们在CIFAR-100和CUB-200等广泛使用的基准数据集上验证了PL-FSCIL的有效性，结果展示了竞争性能，凸显了其在缺乏高质量数据的实际应用中的潜力。
Jan, 2024
本文介绍了一种名为PriViLege的新型FSCIL框架，通过预训练的视觉和语言转换模型以及提示函数和知识蒸馏，有效地解决了FSCIL中的遗忘和过拟合问题，并获得了明显优于现有方法的结果。
Apr, 2024
我们介绍了一种创新的FSCIL框架，利用语言正则化器和子空间正则化器，该框架不仅能够使模型拥抱有限数据的新类别，还能确保对基础类别的性能保持，通过在基础训练阶段利用视觉-语言模型提取的语义信息和在增量训练阶段促进模型对图像和文本语义之间微妙连接的学习。
May, 2024
本研究针对现有视觉语言模型在细粒度分类中的不足，提出了一种新的生成类提示学习（GCPL）方法和对比多类提示学习（CoMPLe）方法。这些方法通过文本到图像的扩散模型在少量样本下显著提升了类嵌入的视觉语言协同，实验证明了其在少样本图像识别方面的优越性，展示了极大的应用潜力。
Sep, 2024
该研究解决了基础视觉-语言模型在细粒度分类任务中的表现不足以及跨域迁移学习的挑战。提出的生成类提示学习（GCPL）和对比多类提示学习（CoMPLe）方法，通过生成建模显著提升了类别嵌入的视觉语言协同，并在少量样本图像识别任务中表现优异，展现出显著的改进效果。
Sep, 2024