本文研究了基于流式线性判别分析的深度学习方法,以提高流式学习和增量批量学习在分类任务上的性能。其中特别解决了深度神经网络中因为新信息替换旧信息而带来的灾难性遗忘问题,并在两个分类任务上实现了优越的分类效果。
Sep, 2019
本文研究了 Continual Learning 中基于正则化的方法,通过理论推理和实验说明了这些方法在 class-incremental 场景下不能有效学习区分不同任务的类别,在多任务强化学习或用于 Continual Learning 的预训练模型中也存在重要后果。作者认为理解正则化策略的缺陷将有助于更有效地利用它们。
Dec, 2019
提出了一种新的持续性学习方法来同时处理学习和存储新信息以及适应先前概念的变化,该方法引入了一个记忆库和一个反应子空间缓冲区来解决数据流挖掘和连续学习两个领域的问题。
Apr, 2021
在医学影像分析中,深度学习算法的快速发展使得医学影像分析取得了显著的进展,但是在推理数据集与模型训练时所见数据略有不同的情况下,模型的性能会受到很大影响。因此,需要采用连续学习技术来处理新类别、新任务和非稳态环境中的数据变化。本系统综述论文对连续学习技术在医学影像分析中的应用进行了全面的概述,包括灾难性遗忘、数据漂移、稳定性和可塑性要求等方面的研究,同时对连续学习方案、技术、评价方案和指标等关键组成部分进行了深入讨论。
Dec, 2023
本研究提出了一种基于转移学习和连续学习的在线异常检测方法,利用神经网络模型的特征提取能力和统计检测方法的连续学习能力,显著减少了训练复杂度,并提供了一种从最近数据中持续学习而不受灾难性遗忘影响的机制,可应用于监控视频领域。
Apr, 2020
本论文研究人工智能的连续学习及其在神经网络领域的应用,提出了 Continual Representation using Distillation (CoReD) 方法,以增加数据效率并对抗深度伪造技术进行序列领域适应任务的新深伪和生成对抗网络合成人脸数据集,取得了比当前的基准方法更好的实验结果。
Jul, 2021
在动态环境中,在线、单通、类增的情况下,我们利用基于贝叶斯的框架和在线内存回访的有效方法来解决这个挑战性的 lifelong learning 问题,并在实验证明了我们的方法超越了此前的研究成果。
Jan, 2023
本文探讨了机器学习中的持续学习范式,并提出了一种基于特征提取的持续学习框架,通过特征和分类器在每个环境中的联合训练,设计了一种高效的梯度算法 DPGD,并证明了该算法能够在当前环境下表现良好,同时避免灾难性遗忘,但在特征是非线性的情况下,并不存在这样一种算法。
Mar, 2022
该研究论文提出一种新的基于连续数据流的在线不断学习方法,并建立了一个大规模的在线视觉学习基准测试,研究了梯度下降优化在不断学习中的关键未被观察到的现象,并提出有效的策略来改进深度学习模型的性能。
Aug, 2021
本文研究了增量类学习的最新方法,并指出很多算法在计算、存储和内存方面效率极低,有些甚至比从头开始训练的方法更费时,作者认为在实际应用中,不能忽视这些算法的资源消耗,持续学习不仅仅只是为了减轻灾难性遗忘。
Mar, 2023