CVPRMar, 2024

生成多模态模型在类增量学习中表现优秀

PDF
TL;DR我们提出了一种适用于类增量学习的新型生成多模态模型（GMM）框架，通过适应的生成模型直接生成图像的标签，利用文本编码器提取文本特征并使用特征匹配确定最相似的标签作为分类预测结果，在常规类增量学习任务和少样本类增量学习任务中，我们相比目前最先进的方法有了显着的改善。
class-incremental learningcatastrophic forgettinggenerative multi-modal modelstext encoderfeature matching
发现论文，激发创造
  • 基于标签生成的类增量学习

    本文提出了一种新的类增量学习方法（VAG），通过将类增量学习视为一个连续标签生成问题，利用预先训练模型的可推广表达来减少灾难性遗忘，并利用词汇表的稀疏性来聚焦生成，同时通过使用标签语义来创建伪重放样本。实验结果表明，VAG 方法的表现优于基线方法。

    Jun, 2023

  • 通过生成框架绕过在线类增量学习中的逻辑偏差

    本研究提出了一个基于特征空间的生成分类器框架，以解决在线类增量学习中用于避免 softmax 分类器的数量型偏差问题，并通过广泛实验验证了该框架的有效性。

    May, 2022

  • DiffClass: 基于扩散的类增量学习

    我们提出了一种新的无样本增量学习方法，通过采用多分布匹配扩散模型来统一训练数据的质量，弥合不同域之间的差距，并通过选择性合成图像增强来扩展训练数据的分布，从而增强模型的可塑性和最终组件的性能，在增量训练期间提升模型的稳定性，实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。

    Mar, 2024

  • 从持续学习的角度看生成模型

    本文比较评估了不同生成模型在连续学习时的适用性，主要研究了不同策略下生成模型的记忆及生成质量表现，结论为原始 GAN 模型表现最优，而 generative replay 策略最优。

    Dec, 2018

  • 用模型遗忘方法提升生成式类增量学习性能

    本研究通过引入遗忘机制，提出了一种新颖的生成类增量学习（GCIL）方法，旨在动态管理类信息以更好地适应流数据。通过实验证明，将遗忘机制整合到 GCIL 中，显著提高了模型在获取新知识方面的性能，凸显了策略性遗忘在不断学习过程中的积极作用。

    Mar, 2024

  • 多变量原型表示的领域泛化增量学习

    研究了深度学习模型在使用新类别样本进行微调时面临的灾难性遗忘问题，特别关注训练和测试数据之间的领域转变。设计了一种能够记忆旧类别、适应新类别并能够可靠地对来自未见领域的对象进行分类的 DGCIL 方法，通过使用知识蒸馏和估计旧类别原型的漂移，结合多变量正态分布，不断适应模型特征的变化以更好地表示旧类别。经过多个基准测试实验证实了我们的说法。

    Sep, 2023

  • 无数据生成回放的双教师班级增量学习

    本文提出两种用于类增量学习的新型知识传输技术：无数据生成式回放（DF-GR）和双教师信息蒸馏（DT-ID），并在 CIFAR-100 和 ImageNet 数据集上表现出性能提升。

    Jun, 2021

  • 多模式生成嵌入模型

    多模态生成嵌入模型能够同时处理多模态任务，在效率上具有竞争力，具备良好的图像标题生成和文本图像检索能力。

    May, 2024

  • 预言：使用生成模型预测持续学习中的未来数据变化

    使用大型语言模型和图像生成模型结合起来，在持续学习挑战过程中提供有价值的先见之明，并对细粒度图像分类基准测试上的多个类别增量学习方法进行了改进。

    Mar, 2024

  • 适用于少样本细粒度识别的跨模态幻象技术

    提出一种基于深度学习的多模态方法，通过有意义的联合嵌入来弥合模型训练中数据不足的信息差距，并通过跨模态数据幻觉框架提出了一个区分性文本条件生成对抗网络，改进了基于 CUB 数据集的一、二、五次学习的模型准确性。

    Jun, 2018