本文介绍了CLEAR数据集，通过一种新颖的、可扩展的、低成本的视觉语言数据集策划方法，利用预训练的视觉语言模型CLIP交互式地构建标记数据集并进行验证，清除了错误和不合适的图像，提出了流处理评估协议并发现，流处理协议可以产生模型更普遍的、更准确的性能估计，包括半监督学习。

Jan, 2022

本文介绍了一种基于continual learning方法的视觉搜索模型，它可以不断更新模型以处理增量式的图库集，同时不会影响模型的特征空间并且可以适用于新的图像类别。

May, 2022

我们提出了一种叫做PROOF的模型，它通过训练任务特定的映射来解决Vision-Language Models在Class-Incremental Learning 时候遗忘问题，并且通过融合多模态信息来提高模型的语义表示能力。在九个基准数据集上进行的实验表明，PROOF达到了最先进的性能。

May, 2023

通过研究视觉-语言持续预训练（VLCP）的特征和挑战，我们提出一种名为CTP的新算法，即兼容动量对比与拓扑保持。该方法不仅在性能上优于其他基线模型，而且不会带来昂贵的训练负担。

Aug, 2023

本文介绍了一种更新基础模型以适应新信息并保留其原始能力的新方法，通过对一小部分参数进行本地化修改，并引入重要性评分机制来仅更新最关键的权重，在多样的持续学习任务中得到了全面评估，表明其能够提高现有的持续学习方法并减少已训练知识的损失。

Aug, 2023

通过对模块特化策略的分析，我们设计了一种基于语言的视觉持续学习方法，它在各种衡量标准下超过了常见的持续学习基线结果，这证明了进一步努力以更好地与个别模型组成部分的学习行为相一致的必要性。

Oct, 2023

利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

Mar, 2024

对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

Apr, 2024

最近，基础语言模型（LMs）在自然语言处理（NLP）和计算机视觉（CV）领域取得了重要的成就。然而，由于灾难性遗忘的原因，它们仍然无法模拟类似人类的连续学习。为了解决这个问题，已经开发了各种基于连续学习（CL）的方法来改进LMs，并使其能够适应新任务而不会遗忘以前的知识。然而，目前对现有方法的系统分类和性能比较仍然缺乏，这是我们调查的空白。我们对基础语言模型中应用的基于CL方法的现有文献进行了全面回顾、总结和分类，如预训练语言模型（PLMs）、大型语言模型（LLMs）和视觉语言模型（VLMs）。我们将这些研究分为离线CL和在线CL，其中包括传统方法、基于参数效率的方法、基于指令调优的方法和连续预训练方法。离线CL包括领域增量学习、任务增量学习和类增量学习，而在线CL又分为困难任务边界和模糊任务边界设置。此外，我们概述了CL研究中使用的典型数据集和度量标准，并详细分析了LMs-based连续学习的挑战和未来工作。

May, 2024

本研究针对多模态基础模型在实际应用中面临的持续过时问题，提出了一种实用的解决方案。通过介绍FoMo-in-Flux基准，我们探索了持续预训练的复杂场景，提供了数据中心和方法中心的深入见解。这项工作为现实世界的模型更新提供了全面的指导，可能显著提高多模态模型在特定子领域的适应能力与应用效果。

Aug, 2024