注意干扰：在参数高效的视觉-语言模型持续学习中保留预训练知识

Jul, 2024

注意干扰：在参数高效的视觉-语言模型持续学习中保留预训练知识

Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models

HTML

PDF

Longxiang Tang, Zhuotao Tian, Kai Li, Chunming He, Hantao Zhou...

TL;DR本研究提出了一种解决领域类别增量学习问题的框架，通过引入预训练的视觉语言模型（VLMs）来处理多样化任务，并采用分布感知无干扰知识融合的机制，有效地控制了信息注入过程，实现了对来自未见过分布的测试数据的精确控制。实验证明，我们的框架在与当前最先进方法相比，只需使用0.86%的训练参数，并显著减少训练时间。

Abstract

This study addresses the domain-class incremental learning problem, a realistic but challenging continual learning scenario where both the domain distribution and target classes vary across tasks. To handle these diverse tasks, pre-trained →

发现论文，激发创造

简单即是美：通过预训练骨干网络实现即插即用的迭代学习

通过利用预训练模型的能力，我们提出了一个基于基线（即拿来即用）的解决方案，以持续学习计算机视觉问题，并设计了一种简单的方法，在大多数常见基准测试中实现强大性能。

May, 2022

EfficientVLM：通过知识蒸馏和模态自适应修剪实现快速和准确的视觉语言模型

本篇研究介绍了一种对于大型视觉-语言模型进行压缩的方法，该方法利用蒸馏和剪枝技术，通过知识蒸馏和模态自适应剪枝等手段来获取一个更快、更小但更准确的模型。最终得到的EfficientVLM模型仅含有9300万个参数，具有98.4％的性能表现，并在各种视觉-语言任务中取得了令人瞩目的结果。

Oct, 2022

视觉语言模型的无遗忘学习

我们提出了一种叫做PROOF的模型，它通过训练任务特定的映射来解决Vision-Language Models在Class-Incremental Learning 时候遗忘问题，并且通过融合多模态信息来提高模型的语义表示能力。在九个基准数据集上进行的实验表明，PROOF达到了最先进的性能。

May, 2023

CTP: 基于兼容的动量对比和拓扑保持的视觉-语言持续预训练

通过研究视觉-语言持续预训练（VLCP）的特征和挑战，我们提出一种名为CTP的新算法，即兼容动量对比与拓扑保持。该方法不仅在性能上优于其他基线模型，而且不会带来昂贵的训练负担。

Aug, 2023

通过选择性参数微调克服通用知识丢失

本文介绍了一种更新基础模型以适应新信息并保留其原始能力的新方法，通过对一小部分参数进行本地化修改，并引入重要性评分机制来仅更新最关键的权重，在多样的持续学习任务中得到了全面评估，表明其能够提高现有的持续学习方法并减少已训练知识的损失。

Aug, 2023

选择与概括：选择性双教师知识迁移用于视觉语言模型的持续学习

大规模视觉语言模型（VLMs）展示了对未见域数据具有强大的零样本泛化能力。然而，适应预训练的VLMs并执行一系列下游任务时，它们容易忘记以前学到的知识并降低其零样本分类能力。为解决这个问题，我们提出了一种独特的选择性双教师知识迁移框架，利用最新的精细调整和原始的预训练VLMs作为双教师来保留以前学到的知识和零样本能力。通过仅访问未标记的参考数据集，我们提出的框架通过测量双教师VLMs的特征差异来执行选择性知识蒸馏机制。因此，我们的选择性双教师知识蒸馏将缓解以前学到的知识的灾难性遗忘，同时保留预训练VLMs的零样本能力。通过对基准数据集进行大量实验，我们证明了我们的提出的框架对于防止灾难性遗忘和零样本退化的最新持续学习方法是有利的。

Mar, 2024

通过专家混合适配器增强视觉语言模型的持续学习

提出了一种参数高效的持续学习框架，通过在视觉语言模型中动态扩展一个预训练的CLIP模型，采用专家混合（Mixture-of-Experts）适配器以应对新任务，并引入分布鉴别自动选择器（DDAS）以保留视觉语言模型的零样本识别能力，并通过各种实验验证，该方法在提升性能的同时减少了60%的参数训练负担。

Mar, 2024

推进视觉语言模型的领域间辨识性在连续学习中

利用回归分析的增量学习和跨领域任务无关增量学习方法，保持视觉-语言模型的零-shot能力和在多领域下的性能。

Jun, 2024

重新思考大型视觉语言模型中长期推理的视觉依赖性

本研究探讨大型视觉语言模型（LVLMs）在长期推理中的表现问题，发现其过于依赖文本信息而导致视觉依赖性降低。我们提出了一种新的无训练上下文修剪方法，旨在选择性去除不重要的文本信息，从而增强视觉依赖性并提高LVLM的长期推理性能。实验证明，该方法有效改善了各类LVLM在长期上下文中的表现。

Oct, 2024

持续LLaVA：大规模视觉语言模型中的持续指令调优

该研究解决了现有大型视觉语言模型（LVLMs）在单任务适应中无法应对现实世界多样化和不断变化的需求的问题。提出的新方法“持续LLaVA”通过冻结LVLMs并构建双增量嵌入，有效支持再调优，并显著减少遗忘现象。这项研究的最显著发现是持续LLaVA在持续指令调优过程中优于以往方法，减少了知识遗忘，提高了模型的适应性。

Nov, 2024