该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。

Aug, 2021

通过利用预训练模型的能力，我们提出了一个基于基线（即拿来即用）的解决方案，以持续学习计算机视觉问题，并设计了一种简单的方法，在大多数常见基准测试中实现强大性能。

May, 2022

本研究针对机器学习中的不断学习提出了两个新的基准，该基准涉及来自六个图像数据集的多个异构任务，其目的是为了更好地评估当前最先进的CL策略，并显示出当前CL模型在真实世界场景中表现较差的能力，高水平遗忘并限制了课程任务顺序。

Mar, 2023

本文研究了当计算资源受限时传统的Continual Learning方法的效率，并表明它们对于实际部署来说太过计算密集，推荐使用在存储器上均匀抽样作为最初基线。

Mar, 2023

通过研究视觉-语言持续预训练（VLCP）的特征和挑战，我们提出一种名为CTP的新算法，即兼容动量对比与拓扑保持。该方法不仅在性能上优于其他基线模型，而且不会带来昂贵的训练负担。

Aug, 2023

在线持续学习在不断变化的数据流中直接学习，并存储来自该流中的最少量数据，本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估，重点关注图像分类中的增量类别设置，通过比较在Split-CIFAR100和Split-TinyImagenet数据集上的平均准确率、遗忘性、稳定性和表示质量的指标，发现大多数方法都存在稳定性和欠拟合问题，但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法，经过适当调整和实施，是一种非常强大的基准方法。我们在avalanche框架上发布了我们的模块化和可扩展的代码库来复现我们的结果，并鼓励未来的研究。

Aug, 2023

通过引入基于网络规模的时间连续基准数据集，我们衡量现有模型的时间鲁棒性，发现基于学习到的时间连续数据进行简单的回训方法可以大幅减少计算量。

Oct, 2023

通过使用模拟真实世界条件的新实验协议，本文验证了关于连续学习的假设，并评估迄今取得的进展。结果表明，考虑到所有方法均表现不佳，明显偏离联合离线训练的上限，这对现实环境中的现有方法的适用性提出了问题。本文旨在通过新的实验协议来倡导采用连续学习方法，以在该领域取得突破。

Feb, 2024

利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

Mar, 2024

在人工智能中，持续学习（Continual Learning）是一个重要的挑战，旨在模拟人类不断获得知识和技能的能力。本研究将关注点从基于分类任务的持续学习转移到生成模型的持续学习（CLoG）。研究通过对比传统的基于分类任务的持续学习，系统性地识别了CLoG所面临的独特挑战。研究在生成任务中引入了基于回放、正则化和参数隔离等三种现有的持续学习方法，并提出了广泛任务覆盖和多样性的CLoG基准。通过基准测试和结果分析，揭示了有价值的见解，对未来的CLoG方法的开发具有重要意义。此外，作者还公开了一个代码库，旨在促进CLoG的基准测试和实验，从而在终身学习范 paradigma内为下一代AI生成内容（AIGC）开辟新的道路。

Jun, 2024