元学习表征用于连续学习

May, 2019

Meta-Learning Representations for Continual Learning

Khurram Javed, Martha White

TL;DR本文提出了一种称为 OML 的目标，其直接最小化灾难性干扰，通过学习在持续学习的在线更新过程中加速未来学习和对遗忘有弹性的表示，我们表明可以学习到更有效的在线更新的自然稀疏表示，并且该算法是现有持续学习策略，如 MER 和 GEM 的有效补充，最后，我们证明了通过 OML 学习的基本在线更新策略与基于重演的持续学习方法具有相同的竞争力。

Abstract

A continual learning agent should be able to build on top of existing knowledge to learn on new data quickly while minimizing forgetting. Current intelligent systems based on neural network function approximators arguably do the opposite---they are highly prone to forgetting and rarely

continual learning neural networks representation learning sparse representations online learning

发现论文，激发创造

在线快速适应和知识积累：一种新的连续学习方法

在研究中，提出了一个更普遍的场景 OSAKA，即代理人必须快速解决新的（分布外）任务，并快速回忆起以前的任务。作者提出了 Continual-MAML 作为强有力的基准线，并在实验中证明，它比其他方法更适合新情况。

Mar, 2020

基于元学习的深度在线学习：模型强化学习中的持续自适应

本文旨在开发一种方法，从传入的数据流中使用深度神经网络模型进行连续的在线学习，使用随机梯度下降算法来更新模型参数，并使用先验的中餐馆过程的期望最大化算法来开发和维护一种混合模型来处理非平稳任务分布。我们将元学习应用于基于模型的强化学习，以适应预测模型关键控制任务中的连续快速自适应。

Dec, 2018

持续学习的学习

提出了一种灵感来自人脑神经调节过程的元学习算法 —— 一种神经调节的元学习算法（ANML)，可以在不会忘记先前知识的情况下，领会许多顺序有序的任务，通过其良好的选择功能来启用上下文依赖性的选择性激活，可以在一个规模上进行连续学习，获得业界最优秀的连续学习表现。

Feb, 2020

在线元学习

该研究提出了一种综合了元学习和在线学习范式的在线元学习模型，运用改进后的 MAML 算法，实现连续终身学习，实验结果表明该算法明显优于传统的在线学习方法。

Feb, 2019

无存储约束的在线持续学习

本文提出了一种用于在线连续学习问题的简单算法，该算法采用 kNN 分类器和通用预先训练的特征提取器，可以在小的计算预算下紧凑存储和利用整个数据流，既能减少过往数据的灾难性遗忘，同时也能快速适应快速变化的数据流，同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。

May, 2023

序列上的在线持续学习

本文总结并讨论了最近采用突触正则化、结构可塑性和经验重放等技术解决连续流式数据学习时的灾难性遗忘问题的深度学习方法，并通过实证表明，与不采用经验重放的架构相比，在在线增量学习任务中，带有经验重放的架构通常更具有优势。

Mar, 2020

La-MAML: 前瞻元学习用于连续学习

本文提出了 Look-ahead MAML 算法及其在在线连续学习中的应用，通过调整元学习更新中每个参数的学习率实现更灵活、高效的控制灾难性遗忘，并在实际视觉分类任务中取得了优异的性能。

Jul, 2020

自动化持续学习

通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法，通过训练自指神经网络来元学习其上下文中的连续学习算法，以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题，并且其学习到的算法表现优于手工设计的算法，在无回放设置下，在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。

Dec, 2023

极限内存约束下的在线连续学习

本文提出了一个新的问题 ——Memory-Constrained Online Continual Learning (MC-OCL)，我们通过 Batch-level Distillation（BLD）这种基于正则化的 CL 方法来解决这个问题，并在三个公开的基准测试中证明了我们的方法成功地解决了 MC-OCL 问题，同时实现了与需要更高存储开销的先前 distillation 方法相当的准确性。

Aug, 2020

持续学习的元整合

该论文提出了一种名为 MERLIN 的元学习方法，通过元分布 p（ψ|t）的学习和巩固，解决了神经网络在在线持续学习过程中忘记之前知识的问题，实验证明该方法优于现有的基线模型。

Oct, 2020