连续学习复杂场景的简单管理

Feb, 2021

Continuum: Simple Management of Complex Continual Learning Scenarios

Arthur Douillard, Timothée Lesort

TL;DR本文介绍了连续学习是一种机器学习子领域，旨在处理非 iid 数据。数据分布随时间漂移可能会干扰训练模型和忘记先前学习的知识。这篇论文提出了一个简单高效的框架 Continuum，它包含多个数据加载器以及多种场景和评估指标，可用于直接关注模型设计，也可针对特定需求进行扩展。

Abstract

continual learning is a machine learning sub-field specialized in settings with non-iid data. Hence, the training data distribution is not static and drifts through time. Those drifts might cause interferences in

continual learning non-iid data data loaders algorithm framework

发现论文，激发创造

数据分布漂移分析下的连续学习设置理解

本文讨论了机器学习中的持续学习问题，通过引入上下文变量来解决数据分布的变动所引起的问题，并提出了处理上下文变动的机制以及通过数据分布漂移框架提供持续学习领域中常用术语的更精确定义。

Apr, 2021

连续学习：特征提取形式化、有效算法和基本障碍

本文探讨了机器学习中的持续学习范式，并提出了一种基于特征提取的持续学习框架，通过特征和分类器在每个环境中的联合训练，设计了一种高效的梯度算法 DPGD，并证明了该算法能够在当前环境下表现良好，同时避免灾难性遗忘，但在特征是非线性的情况下，并不存在这样一种算法。

Mar, 2022

持续学习：应用与未来发展

连续学习是机器学习的一个子领域，本文调查了连续学习研究中的内存受限设置、未解决的问题以及未来的研究方向。

Nov, 2023

持续学习的三种场景

本文提出三种不同的持续学习场景，探讨不同的评估方法以及其性能差异；通过研究表明，针对识别任务需要推断类别（即类别增量学习）的场景中，基于正则化的方法失败，需要回放以前经验的表示来解决此问题。

Apr, 2019

自然分布偏移下的在线持续学习：基于视觉数据的实证研究

该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。

Aug, 2021

连续学习的正则化不足

本文研究了 Continual Learning 中基于正则化的方法，通过理论推理和实验说明了这些方法在 class-incremental 场景下不能有效学习区分不同任务的类别，在多任务强化学习或用于 Continual Learning 的预训练模型中也存在重要后果。作者认为理解正则化策略的缺陷将有助于更有效地利用它们。

Dec, 2019

概念漂移下的增量式经验回放连续学习

提出了一种新的持续性学习方法来同时处理学习和存储新信息以及适应先前概念的变化，该方法引入了一个记忆库和一个反应子空间缓冲区来解决数据流挖掘和连续学习两个领域的问题。

Apr, 2021

推动神经信息检索中的持续终身学习：定义、数据集、框架和实证评估

连续学习模型的任务制定和学习策略在神经信息检索中的有效性及应对主题变化和数据增强的影响进行了概括和评估。

Aug, 2023

神经网络中的持续学习

通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

Oct, 2019

从长尾分布中持续学习众多任务

该论文研究了具有大量任务的持续学习算法在长尾任务序列中的性能，并探讨了优化器状态作为提高持续学习性能的一种因素。通过维护来自先前任务的第二矩的加权平均，论文提出的方法有效减少遗忘，同时在现有的持续学习算法中取得改进。

Apr, 2024