克服在线连续学习中的领域漂移
研究在线持续学习范式下，使用经验回放（ER）对抗内存与计算约束时，新添加的类别在ER下表示的变化，通过实证分析验证减轻高度干扰参数更新的新方法。该方法采用不对称更新规则，有利于在任务边界时避免遗忘。在标准持续学习基准测试中，与强基线方法相比取得了显著提高。
Apr, 2021
本文探讨了不断学习中，使用rehearsal方法的优点和局限，通过三个基准测试提供了实证证据，指出使用该方法的模型在任务完成后仍然处于较低的损失区域，但有过拟合采样数据的风险从而降低模型的泛化能力，这是一项重要的持续学习研究。
Apr, 2021
该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。
Aug, 2021
本论文重新审视了在线学习中排挤记忆（rehearsal）动态。我们从偏差和动态经验风险最小化的角度提供了理论见解，并检查了重复练习的优点和局限性。受我们的分析启发，设计了一个简单直观的“重复增强排挤（Repeated Augmented Rehearsal，RAR）”基线，以解决在线排练的欠拟合和过拟合问题。该论文还展示了RAR在学习轨迹中成功实现了对过去数据损失景观和高损失梁脊的准确近似。我们通过广泛的消融研究研究了重复和增强练习之间的相互作用，同时应用强化学习（RL）来动态调整RAR的超参数，以在线平衡稳定性-可塑性权衡。
Sep, 2022
本文提出在线蒸馏过程中发生领域转移时容易出现的重要问题——灾难性遗忘，针对这一问题，提出了一种基于 continual learning 方法的解决方案，我们将多种最先进的 continual learning 方法纳入在线蒸馏的上下文中，并以周期性领域转移实验结果为例进行了详细分析。我们的实验结果表明，该方法在提高在线蒸馏的鲁棒性和准确性方面具有有效性，并具有在视频监控或自动驾驶等领域的潜在应用。
Apr, 2023
在线连续学习是解决从连续数据流中学习不断出现的新分类任务的问题，本文提出了Collaborative Continual Learning (CCL)和Distillation Chain (DC)两种方法，通过合作学习和知识蒸馏，大幅提高了模型的学习能力和性能。
Dec, 2023
这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了LLMs在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。
Feb, 2024
我们在这篇文章中提出了一种名为CLAMP的跨领域持续学习方法，它集成了一种类感知对抗领域自适应策略，以在复杂变化环境中实现单一模型的部署，避免了额外的标注成本，并且在理论分析和大量实验证明中取得了至少10%的显著性优于现有基准算法的效果。
May, 2024
本研究针对持续学习中的灾难性遗忘问题，提出了一种名为ReCL的新框架，旨在减缓遗忘现象。该框架利用梯度基础神经网络的隐含偏差，重建旧数据并与当前训练数据结合，从而提高模型的性能。实验表明，ReCL在多种持续学习场景和不同数据集上显著提升了性能，是首个通过利用模型自我作为记忆缓冲区来解决灾难性遗忘问题的方法。
Nov, 2024