推进视觉语言模型的领域间辨识性在连续学习中
我们提出了一种叫做PROOF的模型,它通过训练任务特定的映射来解决Vision-Language Models在Class-Incremental Learning 时候遗忘问题,并且通过融合多模态信息来提高模型的语义表示能力。在九个基准数据集上进行的实验表明,PROOF达到了最先进的性能。
May, 2023
本文提出了一种新的方法Inherit with Distillation and Evolve with Contrast (IDEC),它通过Dense Knowledge Distillation on all Aspects (DADA)和Asymmetric Region-wise Contrastive Learning (ARCL)模块解决了类增量语义分割中遇到的灾难性遗忘问题和语义漂移问题,并在多个CISS任务中展现出卓越的性能。
Sep, 2023
统一域增量学习(UDIL)是一个适用于域递增学习的统一框架,通过使用自适应系数进行训练,始终实现最紧密的错误界限,并在合成和实际数据集上优于现有方法。
Oct, 2023
本研究提出了一种名为交叉领域连续学习(CDCL)的新方法,在一个紧凑的卷积网络中结合了跨任务关注机制,实现了对先前任务特征的对齐,并在相关领域之间进行了无监督的交叉领域学习(UDA)。通过使用一种任务内特定的伪标签方法,确保了有标签和无标签样本的准确输入对,从而增强了学习过程。本方法在公开的UDA数据集上进行了广泛实验,显示出在交叉领域连续学习挑战上的良好性能。此外,本研究提出了增量思想,为该领域的进展做出了贡献。
Feb, 2024
我们提出了一种新的无样本增量学习方法,通过采用多分布匹配扩散模型来统一训练数据的质量,弥合不同域之间的差距,并通过选择性合成图像增强来扩展训练数据的分布,从而增强模型的可塑性和最终组件的性能,在增量训练期间提升模型的稳定性,实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。
Mar, 2024
该研究提出了两个简单的模块来解决Vision-Language模型在少样本类增量学习方面的挑战,并在新引入的细粒度数据集上实验结果表明,相比基准模型平均提高了10个百分点,而所需的可训练参数少至8倍。
Mar, 2024
大规模视觉语言模型(VLMs)展示了对未见域数据具有强大的零样本泛化能力。然而,适应预训练的VLMs并执行一系列下游任务时,它们容易忘记以前学到的知识并降低其零样本分类能力。为解决这个问题,我们提出了一种独特的选择性双教师知识迁移框架,利用最新的精细调整和原始的预训练VLMs作为双教师来保留以前学到的知识和零样本能力。通过仅访问未标记的参考数据集,我们提出的框架通过测量双教师VLMs的特征差异来执行选择性知识蒸馏机制。因此,我们的选择性双教师知识蒸馏将缓解以前学到的知识的灾难性遗忘,同时保留预训练VLMs的零样本能力。通过对基准数据集进行大量实验,我们证明了我们的提出的框架对于防止灾难性遗忘和零样本退化的最新持续学习方法是有利的。
Mar, 2024
本文介绍了一种名为PriViLege的新型FSCIL框架,通过预训练的视觉和语言转换模型以及提示函数和知识蒸馏,有效地解决了FSCIL中的遗忘和过拟合问题,并获得了明显优于现有方法的结果。
Apr, 2024
本研究针对开放域持续学习中的两个主要挑战:记忆遗忘和零样本能力不足,提出了一种新颖的方法:利用领域内类别感知原型。该方法通过一个无训练的任务识别判别器,实现对任务ID的准确识别,并有效保持各领域的知识,从而在多个数据集上显著提升了学习效果。
Aug, 2024
本研究解决了增量学习中面对类和领域未知的任务时的知识累积问题。提出了一种名为ICON的增量学习框架,结合新颖的正则化方法CAST,有效减少了已学习知识的干扰,从而更高效地吸收新知识。实验结果表明,该方法在各种场景下均表现出色,尤其是在任务随机变化时。
Sep, 2024