进展与压缩：一种可扩展的连续学习框架

ICMLMay, 2018

进展与压缩：一种可扩展的连续学习框架

Progress & Compress: A scalable framework for continual learning

Jonathan Schwarz, Jelena Luketina, Wojciech M. Czarnecki, Agnieszka Grabska-Barwinska, Yee Whye Teh...

TL;DR本研究介绍了一个在连续学习领域具有概念简单、可扩展性强的框架，其任务按顺序逐个学习。该方法在参数数量上保持恒定，旨在保持在以前遇到的任务上的表现，并加速在后续问题上的学习进度。我们在手写字母分类和两个强化学习领域（Atari 游戏和 3D 迷宫导航）上展示了该方法的优越性。

Abstract

We introduce a conceptually simple and scalable framework for continual learning domains where tasks are learned sequentially. Our method is constant in the number of parameters and is designed to preserve performance on previously encountered tasks while accelerating learning progress on subsequent problems. This is achieved by training a network with two c

continual learning active learning compression reinforcement learning sequential classification

发现论文，激发创造

稳定紧凑拣选与自我增长：不遗忘持续学习

本文提出了一种简单但有效的方法来实现深度学习的连续增量学习，该方法结合了深层模型压缩、关键权重选择和渐进网络扩展的原理，在迭代中实现它们的集成，从而能够实现多种任务的增量学习，避免遗忘并保持模型的紧凑性。在实验中，该方法能够在不遗忘前面任务的情况下，增量学习处理多个任务的深度模型，同时对于单个任务的训练也具有更好的性能表现。

Oct, 2019

生成式持续概念学习

该研究提出了一个利用少量标记示例来扩展以前学习概念的计算模型，该模型基于 Parallel Distributed Processing 和 Complementary Learning Systems 理论，使用嵌入空间将新概念与以前学习的概念联系起来，并通过生成分布来解决灾难性遗忘问题。

Jun, 2019

一项继续学习调查：在分类任务中应对遗忘

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡，并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019

渐进式神经网络

本论文研究了使用 Progressive Networks 这种方法来解决转移学习和遗忘问题，通过提出新的敏感性测量方法来评价该方法在各种强化学习任务上的表现，并表明它优于基于预训练和微调的常见基线。

Jun, 2016

自适应权重巩固在连续学习中的应用

我们提出了一个自主进程的权重整合（spWC）框架，通过评估以前任务的辨别贡献，以实现鲁棒的连续学习。

Jul, 2023

迈向具备预训练的持续学习通用框架

通过使用预训练的方法，我们提出了一个通用的框架来持续学习连续到达的任务，从一个理论的角度，我们将其目标分解为三个层次的组成部分，包括任务内预测、任务标识推断和任务适应预测，并提出了一种创新的方法来显式优化这些组件，通过参数高效的微调技术和表示统计量，我们在下游连续学习中实证展示了我们方法的优越性和普遍性，并进一步探讨了在上游连续学习中应用参数高效的微调技术的可行性，同时结合神经科学中的最新进展，讨论了所提框架的生物学基础。

Oct, 2023

探究图像压缩对于类别增量学习的影响

本论文提出了一种新的框架，通过图像压缩来增强连续机器学习中缓冲区的容量，包括预处理数据压缩步骤和高效的压缩率 / 算法选择方法，通过在 CIFAR-100 和 ImageNet 数据集上进行广泛实验，证明了该方法在连续机器学习环境中显著提高了图像分类的准确性。

Mar, 2024

利用模块化网络与任务驱动先验知识实现高效连续学习

本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

Dec, 2020

连续学习中任务数量的缩放

本文探讨了在有限环境中增长任务数量的情景下，通过一种新的实验框架 SCoLe，借助随机梯度下降法，实现在长序列的任务中进行知识积累和保留，提出了一种改进的随机梯度下降方法以便于在此设置中进行继续学习的算法，并通过合适的实验框架展示了新的可持续性学习学习机制。

Jul, 2022

学它或者离开：模块组合与修剪的连续学习

MoCL-P 是一种轻量级的持续学习方法，通过任务表示引导模块组合和自适应修剪，同时解决避免灾难性遗忘、促进知识转移和保持参数效率等持续学习中的挑战，且在三个持续学习基准测试中达到了最优性能，提高了参数效率，展示了在资源受限的实际应用中的潜力。

Jun, 2024