Nov, 2023

曲率解释了塑性丧失

PDF
TL;DR神经网络的可塑性丧失是一种现象，其能力从新的经验中学习受到影响。本文提供了关于可塑性丧失的一致解释，认为在训练过程中神经网络方向的曲率减少导致了可塑性的丧失。通过对多个连续监督学习问题进行系统的实证研究，我们发现曲率减少与可塑性丧失同时或之前发生，同时证明了以前的解释无法解释所有情况下的可塑性丧失。最后，我们展示了可以缓解可塑性丧失的正则化方法也能保持曲率，提出了一种简单的分布正则化方法，在考虑的问题设置中被证明是有效的。
loss of plasticityneural networkscurvaturetrainingregularizers
发现论文，激发创造
  • 解析神经网络可塑性丧失的原因

    在神经网络的设计、初始化和优化的过程中，损失可塑性问题是一个关键因素。通过组合使用层归一化和权重衰减技术，可以在各种非平稳学习任务中有效地维持网络的可塑性，从而实现高度稳健的学习算法。

    Feb, 2024

  • 我们是否可以通过神经崩溃来理解可塑性？

    本文探讨深度学习中两个最近发现的现象之间的联系：可塑性损失和神经崩溃。我们分析了它们在不同场景中的相关性，揭示了在第一任务的初始训练阶段存在显著关联。此外，我们介绍了一种规范化方法来减轻神经崩溃，证明了它在这种特定情况下减缓可塑性损失的有效性。

    Apr, 2024

  • 深度持续学习中的可塑性维护

    本文研究了深度学习系统在持续学习环境下的表现，发现其容易出现失去可塑性现象，影响其对新数据的适应能力，但通过 L2 正则化和重启动某些不常用单元的连续反向传播算法，可以缓解和避免这种现象。

    Jun, 2023

  • 关于策略深度强化学习中可塑性损失的研究

    深度神经网络的持续学习面临着与固定数据集和凸连续学习模式不同的挑战，其中一个挑战是可塑性损失，即在线训练的神经网络显示出适应新任务的能力下降。本文通过一系列实验研究了深度增强学习中的可塑性损失和多种缓解方法，并发现在领域转移情况下可塑性损失普遍存在，许多解决方法在这种情境下失败，相反，一类 “再生” 方法能够在各种环境中保持可塑性损失的缓解效果，包括网格世界任务以及像《蒙特祖玛的复仇》和 ProcGen 这样更具挑战性的环境。

    May, 2024

  • 深度学习训练不稳定性的损失曲率视角

    本论文探究了损失海森矩阵在多项分类任务中的演化，以了解损失曲率对训练动态的影响。结果表明，成功的模型和超参数选择能够使早期的优化轨迹避免或穿越高曲率区域并进入扁平区域，提高学习率稳定性，类似于各种训练不稳定性缓解策略最终解决神经网络优化的相同失效模式，即差的条件。

    Oct, 2021

  • 曲率正则化带来的鲁棒性及其相反情况

    本文研究了对抗训练对分类景观和决策边界几何形态的影响，展示了对抗训练导致的输入空间曲率减少及网络更 “线性” 行为的结果。我们提出一个直接最小化损失面曲率的新的规则化方法，并提供了理论上的证据表明大鲁棒性与小曲率之间存在强关联。

    Nov, 2018

  • 重访视觉强化学习中的可塑性：数据、模块和训练阶段

    基于神经网络的高性能、高效样本视觉增强强化学习的主要研究领域之一是塑性。本研究通过系统性实证研究揭示了数据增强、评论者的塑性损失、塑性恢复等关键组成部分对塑性的影响，并提出了一种基于评论者塑性水平动态调整回放率来解决高回放率困境的策略，该策略在早期避免了塑性损失，并在后期重用更频繁的情况下提高样本效率。

    Oct, 2023

  • 通过谱正则化实现持续学习

    神经网络的塑性缺失意味着在学习过程中网络训练变得更加困难。我们通过改进初始化技术、提出新的正则化策略以及保持梯度多样性来改善持续学习，并证明这些替代技术在不同的监督学习任务和模型结构上能够提高持续学习性能。

    Jun, 2024

  • 通过再生规范化维持可塑性

    通过将 L2 正则化引入损失函数实现的 L2 Init 方法，在持续学习中保持可塑性，处理非稳态数据流时有效，减少参数大小并维持高的特征级别。

    Aug, 2023

  • 可微可塑性：使用反向传播训练可塑神经网络

    利用突触可塑性，采用梯度下降算法优化反馈网络的连接权重和可塑性，使得大型反馈可塑网络可以学习、记忆、重构以及元学习各类任务。

    Apr, 2018