本文介绍了 CLEAR 数据集，通过一种新颖的、可扩展的、低成本的视觉语言数据集策划方法，利用预训练的视觉语言模型 CLIP 交互式地构建标记数据集并进行验证，清除了错误和不合适的图像，提出了流处理评估协议并发现，流处理协议可以产生模型更普遍的、更准确的性能估计，包括半监督学习。

Jan, 2022

本文提出了两个与实际环境相似的 CL 基准，分别用于人类状态监测中，研究结果表明，由于基准具有增量属性，遗忘容易被解决，现有策略在固定测试对象上累积知识方面存在困难。

Jun, 2022

在人工智能中，持续学习（Continual Learning）是一个重要的挑战，旨在模拟人类不断获得知识和技能的能力。本研究将关注点从基于分类任务的持续学习转移到生成模型的持续学习（CLoG）。研究通过对比传统的基于分类任务的持续学习，系统性地识别了 CLoG 所面临的独特挑战。研究在生成任务中引入了基于回放、正则化和参数隔离等三种现有的持续学习方法，并提出了广泛任务覆盖和多样性的 CLoG 基准。通过基准测试和结果分析，揭示了有价值的见解，对未来的 CLoG 方法的开发具有重要意义。此外，作者还公开了一个代码库，旨在促进 CLoG 的基准测试和实验，从而在终身学习范 paradigma 内为下一代 AI 生成内容（AIGC）开辟新的道路。

Jun, 2024

本文研究了当计算资源受限时传统的 Continual Learning 方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

Mar, 2023

本研究介绍了 CLiMB 基准测试，并提出了一种改进的视觉 - 语言 Transformer (ViLT) 模型，用于同时处理多模态任务和单模态任务的连续学习问题。通过实验发现，虽然常见的连续学习方法可以缓解多模态任务学习中的遗忘问题，但并不能实现跨任务的知识转移。该基准测试将有助于研究这个多模态场景下的新型连续学习算法。

Jun, 2022

我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

Apr, 2024

本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

Dec, 2020

该研究针对持续学习中的指令调整问题建立了一个基准，并通过研究对话任务流的方法系统地研究了不同的持续学习方法。实验结果显示现有的持续学习方法未能充分利用丰富的自然语言指令，顺序微调指令调整模型可以产生相似或更好的效果。研究进一步探索了可能影响指令调整学习的不同方面。希望该基准能够促进这个研究方向的更多研究。

Oct, 2023

在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。

Sep, 2023

通过引入 TRACE 评估标准，本文介绍了大规模语言模型连续学习的挑战，并提出了 RCL 方法，将任务特定的线索与元理由相结合，以减少 LLMs 中的灾难性遗忘现象并加快对新任务的收敛。

Oct, 2023