本文介绍了CLEAR数据集，通过一种新颖的、可扩展的、低成本的视觉语言数据集策划方法，利用预训练的视觉语言模型CLIP交互式地构建标记数据集并进行验证，清除了错误和不合适的图像，提出了流处理评估协议并发现，流处理协议可以产生模型更普遍的、更准确的性能估计，包括半监督学习。

Jan, 2022

本研究探讨大规模预训练模型在下游持续学习场景中的作用，发现使用非参分类器可以在低计算开销下达到合理的CL性能；解释了更广泛数据预训练模型的表现，探讨了它们的表征相似性和迁移属性；展示了自监督预训练在下游领域上的有效性，和提高潜在CL效果的方向。

Apr, 2022

本研究介绍了 CLiMB 基准测试，并提出了一种改进的视觉-语言 Transformer (ViLT) 模型，用于同时处理多模态任务和单模态任务的连续学习问题。通过实验发现，虽然常见的连续学习方法可以缓解多模态任务学习中的遗忘问题，但并不能实现跨任务的知识转移。该基准测试将有助于研究这个多模态场景下的新型连续学习算法。

Jun, 2022

通过研究视觉-语言持续预训练（VLCP）的特征和挑战，我们提出一种名为CTP的新算法，即兼容动量对比与拓扑保持。该方法不仅在性能上优于其他基线模型，而且不会带来昂贵的训练负担。

Aug, 2023

本文研究了指令调整在持续学习大型多模型 (LMMs) 中的应用，并发现持续调整过程中仍然存在灾难性遗忘现象，但多任务联合指令调整可以改善遗忘问题，此外，基于任务相似性的正则化和模型扩展方法在持续学习中表现良好。

Nov, 2023

这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了LLMs在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

Feb, 2024

使用大型语言模型和图像生成模型结合起来，在持续学习挑战过程中提供有价值的先见之明，并对细粒度图像分类基准测试上的多个类别增量学习方法进行了改进。

Mar, 2024

对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

Apr, 2024

最近，基础语言模型（LMs）在自然语言处理（NLP）和计算机视觉（CV）领域取得了重要的成就。然而，由于灾难性遗忘的原因，它们仍然无法模拟类似人类的连续学习。为了解决这个问题，已经开发了各种基于连续学习（CL）的方法来改进LMs，并使其能够适应新任务而不会遗忘以前的知识。然而，目前对现有方法的系统分类和性能比较仍然缺乏，这是我们调查的空白。我们对基础语言模型中应用的基于CL方法的现有文献进行了全面回顾、总结和分类，如预训练语言模型（PLMs）、大型语言模型（LLMs）和视觉语言模型（VLMs）。我们将这些研究分为离线CL和在线CL，其中包括传统方法、基于参数效率的方法、基于指令调优的方法和连续预训练方法。离线CL包括领域增量学习、任务增量学习和类增量学习，而在线CL又分为困难任务边界和模糊任务边界设置。此外，我们概述了CL研究中使用的典型数据集和度量标准，并详细分析了LMs-based连续学习的挑战和未来工作。

May, 2024

持续预训练是适应大型语言模型（LLM）到新领域的主要方法之一，研究探讨了在这个过程中LLM的行为和性能，提出了三种有效策略来增强LLM在固定计算资源下的性能，经实验证实这些策略在医学任务性能和通用任务性能方面均取得了令人满意的成果。

Jun, 2024