深度持续学习中的可塑性维护

Jun, 2023

Maintaining Plasticity in Deep Continual Learning

Shibhansh Dohare, J. Fernando Hernandez-Garcia, Parash Rahman, Richard S. Sutton, A. Rupam Mahmood

TL;DR本文研究了深度学习系统在持续学习环境下的表现，发现其容易出现失去可塑性现象，影响其对新数据的适应能力，但通过 L2 正则化和重启动某些不常用单元的连续反向传播算法，可以缓解和避免这种现象。

Abstract

Modern deep-learning systems are specialized to problem settings in which training occurs once and then never again, as opposed to continual-learning settings in which training occurs continually. If deep-learning syste

deep-learning systems continual learning loss of plasticity mnist dataset imagenet dataset

发现论文，激发创造

关于策略深度强化学习中可塑性损失的研究

深度神经网络的持续学习面临着与固定数据集和凸连续学习模式不同的挑战，其中一个挑战是可塑性损失，即在线训练的神经网络显示出适应新任务的能力下降。本文通过一系列实验研究了深度增强学习中的可塑性损失和多种缓解方法，并发现在领域转移情况下可塑性损失普遍存在，许多解决方法在这种情境下失败，相反，一类 “再生” 方法能够在各种环境中保持可塑性损失的缓解效果，包括网格世界任务以及像《蒙特祖玛的复仇》和 ProcGen 这样更具挑战性的环境。

May, 2024

用于分析持续学习者的新度量标准

在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。

Sep, 2023

持续深度强化学习中的可塑性丧失

探讨在 Atari 2600 游戏环境中使用基于价值的强化学习方法在面对不同程度的非随机性（non-stationarity）时，其所采用的策略的丧失学习能力现象，通过对不同维度条件下的实验结果，发现这种现象与网络中激活函数的稀疏性相关，本文提出的嵌入化 ReLU (CReLUs) 激活函数可以有效提高在环境变化中的持续学习能力。

Mar, 2023

一项继续学习调查：在分类任务中应对遗忘

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡，并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019

通过再生规范化维持可塑性

通过将 L2 正则化引入损失函数实现的 L2 Init 方法，在持续学习中保持可塑性，处理非稳态数据流时有效，减少参数大小并维持高的特征级别。

Aug, 2023

解析神经网络可塑性丧失的原因

在神经网络的设计、初始化和优化的过程中，损失可塑性问题是一个关键因素。通过组合使用层归一化和权重衰减技术，可以在各种非平稳学习任务中有效地维持网络的可塑性，从而实现高度稳健的学习算法。

Feb, 2024

通过谱正则化实现持续学习

神经网络的塑性缺失意味着在学习过程中网络训练变得更加困难。我们通过改进初始化技术、提出新的正则化策略以及保持梯度多样性来改善持续学习，并证明这些替代技术在不同的监督学习任务和模型结构上能够提高持续学习性能。

Jun, 2024

网络连续学习中稳定性与可塑性困境的新见解

本研究提出了一种名为 MuFAN 的在线连续学习框架，利用不同级别的预训练网络中提取的更丰富的上下文编码，并引入了一种新颖的基于结构的蒸馏损失和稳定性 - 可塑性标准化模块，用于同时保持高可塑性和稳定性。MuFAN 在多个数据集上优于其他现有的连续学习方法。

Feb, 2023

可微可塑性：使用反向传播训练可塑神经网络

利用突触可塑性，采用梯度下降算法优化反馈网络的连接权重和可塑性，使得大型反馈可塑网络可以学习、记忆、重构以及元学习各类任务。

Apr, 2018

融合神经启发的适应性在人工智能中持续学习

通过建立一个稳定性与可塑性均衡、具有多个学习模块的学习系统，我们提出了一种通用方法，可以适度减弱旧记忆在参数分布中的影响，以提高学习可塑性，并通过协调多学习者架构确保解决方案的兼容性。经过大量的理论和实证验证，我们的方法不仅明显提高了持续学习的性能，尤其是在任务增量设置中超过了突触正则化方法，还可能推进神经适应机制的理解，成为推动人工智能和生物智能共同进步的新范例。

Aug, 2023