单模型之外的持续学习
连续学习旨在使机器学习模型能够在数据分布不断变化的情况下不忘记已学知识。通过训练集合中的每个成员于不同相关子集，使整个集合相比于单纯模型能够获得更高准确率且遗忘更少的问题。我们解决了在给定数据上选择哪些模型应该学习，哪些模型应该进行预测的问题。通过借鉴委托投票的工作，我们开发了一种用于动态选择集合中活动模型的委托算法。我们探讨了各种委托方法和性能指标，最终发现在面对分布变化时，委托能够显著提高性能，优于单纯学习。
May, 2024
机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。
Dec, 2023
本文研究了增量类学习的最新方法，并指出很多算法在计算、存储和内存方面效率极低，有些甚至比从头开始训练的方法更费时，作者认为在实际应用中，不能忽视这些算法的资源消耗，持续学习不仅仅只是为了减轻灾难性遗忘。
Mar, 2023
本文介绍了一种连续学习的分类模型，可以防止神经网络在逐个学习任务时出现 catastrophic forgetting。作者通过扩展已有技术，并提出了一种新的变分下界方法，使得神经网络在连续学习中可以同时保持之前学到的知识。
Oct, 2018
在当前深度学习时代，为了在训练神经网络时使用随机梯度下降处理非平稳流数据时减轻遗忘现象，我们采用元学习范式来结合神经网络的强表示能力与简单统计模型对遗忘现象的抵抗能力，在我们的新颖元持续学习框架中，持续学习仅在统计模型中进行，而神经网络在原始数据和统计模型之间进行元学习，由于神经网络在持续学习过程中保持不变，它们免受遗忘现象的影响。该方法不仅实现了显著提高的性能，而且具有出色的可伸缩性，由于我们的方法与领域和模型无关，因此可以应用于各种问题，并与现有模型架构轻松集成。
May, 2024
本书章节探讨了持续学习的动态，即从非固定数据流中增量学习的过程。尽管对于人脑来说是一种自然的技能，但对于人工神经网络来说却非常具有挑战性。这是因为当学习新知识时，这些网络往往会迅速而彻底地忘记之前所学的知识，这一现象被称为灾难性遗忘。特别是在过去十年中，持续学习已成为深度学习中被广泛研究的主题。本书章节回顾了该领域产生的见解。
Mar, 2024
本文研究了模型集成作为一种提高在线持续学习性能和稳定性的方法，并且通过使用轻量级时间集成方法以及结合文献中的几种方法，我们表明该方法可以显着提高性能和稳定性。
Jun, 2023
通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。
Oct, 2019
本研究通过评估四个不同医学图像场景中各种连续学习方法的性能表明，单一模型可以顺序地学习来自不同专业的新任务，并达到与传统方法相当的性能，从而证明了在医学领域跨机构共享或回收模型的可行性，进一步推动了通用医学影像人工智能的发展。
Nov, 2023