推进视觉语言模型的领域间辨识性在连续学习中

Jun, 2024

推进视觉语言模型的领域间辨识性在连续学习中

Advancing Cross-domain Discriminability in Continual Learning of Vison-Language Models

Yicheng Xu, Yuxin Chen, Jiahao Nie, Yusong Wang, Huiping Zhuang...

TL;DR利用回归分析的增量学习和跨领域任务无关增量学习方法，保持视觉 - 语言模型的零 - shot 能力和在多领域下的性能。

Abstract

continual learning (CL) with vision-language models (VLMs) has overcome the constraints of traditional CL, which only focuses on previously encountered classes. During the CL of VLMs, we need not only to prevent

continual learning vision-language models zero-shot ability regression-based analytic incremental learning cross-domain task-agnostic incremental learning

发现论文，激发创造

CoLeCLIP：通过联合任务提示和词汇学习实现开放域持续学习

本文探讨了在开放领域中视觉语言模型的持续学习问题，介绍了一种名为 CoLeCLIP 的新方法，通过联合学习任务提示和跨领域类别词汇来解决开放领域持续学习中的挑战，实验证明 CoLeCLIP 在开放领域持续学习中超过了最先进的方法。

Mar, 2024

视觉语言模型的无遗忘学习

我们提出了一种叫做 PROOF 的模型，它通过训练任务特定的映射来解决 Vision-Language Models 在 Class-Incremental Learning 时候遗忘问题，并且通过融合多模态信息来提高模型的语义表示能力。在九个基准数据集上进行的实验表明，PROOF 达到了最先进的性能。

May, 2023

跨领域连续学习

本研究提出了一种名为交叉领域连续学习（CDCL）的新方法，在一个紧凑的卷积网络中结合了跨任务关注机制，实现了对先前任务特征的对齐，并在相关领域之间进行了无监督的交叉领域学习（UDA）。通过使用一种任务内特定的伪标签方法，确保了有标签和无标签样本的准确输入对，从而增强了学习过程。本方法在公开的 UDA 数据集上进行了广泛实验，显示出在交叉领域连续学习挑战上的良好性能。此外，本研究提出了增量思想，为该领域的进展做出了贡献。

Feb, 2024

大型语言模型作为视觉跨领域学习器

近期由深度学习模型取得的进展基于独立且同分布的假设，限制了它们在具有领域转移的实际场景中的应用。为了解决上述问题，跨域学习旨在提取领域不变的知识，以减少训练和测试数据之间的领域转移。然而，在视觉跨域学习中，传统方法仅集中于图像模态，忽略了利用文本模态来减轻领域转移。本文提出了大型语言模型作为视觉跨域学习器（LLaVO）。LLaVO 使用视觉 - 语言模型将图像转换为详细的文本描述，然后使用设计的指令模板在源 / 目标领域生成的文本描述上对大型语言模型进行微调。对领域概括和无监督领域自适应设置下的各种跨域任务进行了广泛的实验，结果表明了所提方法的有效性。

Jan, 2024

视觉 - 语言模型的跨模态概念学习和推理

使用大规模预训练的视觉语言模型（如 CLIP）及跨模态概念学习和推理（CCLI）方法，能够通过文本和图像之间的相关性自动学习图像的视觉概念，并构建区分性的图像表示，从而提高少样本学习和领域泛化等图像分类任务的性能。

Jul, 2023

借助语言引导监督增强视觉持续学习

利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

Mar, 2024

跨领域连续学习的 CLAMP 方法

我们在这篇文章中提出了一种名为 CLAMP 的跨领域持续学习方法，它集成了一种类感知对抗领域自适应策略，以在复杂变化环境中实现单一模型的部署，避免了额外的标注成本，并且在理论分析和大量实验证明中取得了至少 10% 的显著性优于现有基准算法的效果。

May, 2024

选择与概括：选择性双教师知识迁移用于视觉语言模型的持续学习

大规模视觉语言模型（VLMs）展示了对未见域数据具有强大的零样本泛化能力。然而，适应预训练的 VLMs 并执行一系列下游任务时，它们容易忘记以前学到的知识并降低其零样本分类能力。为解决这个问题，我们提出了一种独特的选择性双教师知识迁移框架，利用最新的精细调整和原始的预训练 VLMs 作为双教师来保留以前学到的知识和零样本能力。通过仅访问未标记的参考数据集，我们提出的框架通过测量双教师 VLMs 的特征差异来执行选择性知识蒸馏机制。因此，我们的选择性双教师知识蒸馏将缓解以前学到的知识的灾难性遗忘，同时保留预训练 VLMs 的零样本能力。通过对基准数据集进行大量实验，我们证明了我们的提出的框架对于防止灾难性遗忘和零样本退化的最新持续学习方法是有利的。

Mar, 2024

克服在线连续学习中的领域漂移

本文提出了一种名为 Drift-Reducing Rehearsal (DRR) 的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。

May, 2024

通过专家混合适配器增强视觉语言模型的持续学习

提出了一种参数高效的持续学习框架，通过在视觉语言模型中动态扩展一个预训练的 CLIP 模型，采用专家混合（Mixture-of-Experts）适配器以应对新任务，并引入分布鉴别自动选择器（DDAS）以保留视觉语言模型的零样本识别能力，并通过各种实验验证，该方法在提升性能的同时减少了 60% 的参数训练负担。

Mar, 2024