May, 2023

视觉语言模型的无遗忘学习

PDF
TL;DR我们提出了一种叫做 PROOF 的模型，它通过训练任务特定的映射来解决 Vision-Language Models 在 Class-Incremental Learning 时候遗忘问题，并且通过融合多模态信息来提高模型的语义表示能力。在九个基准数据集上进行的实验表明，PROOF 达到了最先进的性能。
class-incremental learningvision-language modelsprojection fusioncatastrophic forgettingmulti-modal information
发现论文，激发创造
  • 借助语言引导监督增强视觉持续学习

    利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

    Mar, 2024

  • 基于标签生成的类增量学习

    本文提出了一种新的类增量学习方法（VAG），通过将类增量学习视为一个连续标签生成问题，利用预先训练模型的可推广表达来减少灾难性遗忘，并利用词汇表的稀疏性来聚焦生成，同时通过使用标签语义来创建伪重放样本。实验结果表明，VAG 方法的表现优于基线方法。

    Jun, 2023

  • 推进视觉语言模型的领域间辨识性在连续学习中

    利用回归分析的增量学习和跨领域任务无关增量学习方法，保持视觉 - 语言模型的零 - shot 能力和在多领域下的性能。

    Jun, 2024

  • 选择与概括：选择性双教师知识迁移用于视觉语言模型的持续学习

    大规模视觉语言模型（VLMs）展示了对未见域数据具有强大的零样本泛化能力。然而，适应预训练的 VLMs 并执行一系列下游任务时，它们容易忘记以前学到的知识并降低其零样本分类能力。为解决这个问题，我们提出了一种独特的选择性双教师知识迁移框架，利用最新的精细调整和原始的预训练 VLMs 作为双教师来保留以前学到的知识和零样本能力。通过仅访问未标记的参考数据集，我们提出的框架通过测量双教师 VLMs 的特征差异来执行选择性知识蒸馏机制。因此，我们的选择性双教师知识蒸馏将缓解以前学到的知识的灾难性遗忘，同时保留预训练 VLMs 的零样本能力。通过对基准数据集进行大量实验，我们证明了我们的提出的框架对于防止灾难性遗忘和零样本退化的最新持续学习方法是有利的。

    Mar, 2024

  • 视觉 - 语言模型的跨模态概念学习和推理

    使用大规模预训练的视觉语言模型（如 CLIP）及跨模态概念学习和推理（CCLI）方法，能够通过文本和图像之间的相关性自动学习图像的视觉概念，并构建区分性的图像表示，从而提高少样本学习和领域泛化等图像分类任务的性能。

    Jul, 2023

  • 互动式连续学习：快思和慢思

    基于互动持续学习框架，使用大型语言模型与记忆检索机制，以及模型之间的协作交互，实现抵抗遗忘和优越性能的持续学习。

    Mar, 2024

  • 大规模视觉语言模型的视域内学习

    通过引入一种新颖的视觉上下文学习方法（VICL），包括视觉演示检索、目标导向图像摘要和目标导向演示组合，解决了大型视觉语言模型（LVLMs）中上下文学习的挑战，提高了效果，并且进一步调查了演示文本长度和位置对 LVLM 的影响，展示了 ICL 复位特定模型知识的潜力。

    Feb, 2024

  • 学习还是回忆？再探基于预训练语言模型的增量学习

    在自然语言处理领域中，基于预训练语言模型的增量学习的研究表明，现有的方法普遍低估了预训练语言模型天生的抗遗忘能力，研究者提出了一种名为 SEQ * 的简单方法，它在各项度量上与最先进的增量学习方法具有竞争力或更好的表现，并且需要较少的可训练参数和训练时间。

    Dec, 2023

  • 视觉语言模型中的 Déjà Vu 记忆

    Vision-Language Models have been widely used with downstream applications, and this paper proposes a method for measuring memorization in these models called déjà vu memorization, confirming its significance in OpenCLIP trained on image-caption pairs and showing that text randomization mitigates the extent of memorization while moderately affecting downstream task performance.

    Feb, 2024

  • 多视角类别增量学习

    本文研究了一种新的范例，称为多视类增量学习（MVCIL），旨在将单个模型应用于连续的视图流中，以增量分类新类，而无需访问早期的数据视图，其中引入了一种随机化表示学习技术进行特征提取，集成后引入选择性权重巩固，实验证明了本方法的有效性。

    Jun, 2023