我们是否可以通过神经崩溃来理解可塑性？
在神经网络的设计、初始化和优化的过程中，损失可塑性问题是一个关键因素。通过组合使用层归一化和权重衰减技术，可以在各种非平稳学习任务中有效地维持网络的可塑性，从而实现高度稳健的学习算法。
Feb, 2024
探究神经坍塌现象在深度学习中的作用，研究神经坍塌现象对于泛化能力与优化能力的影响，发现神经坍塌现象主要是一种优化现象，同时也探究了神经坍塌现象在特征学习等方面的表现。
Feb, 2022
神经网络的可塑性丧失是一种现象，其能力从新的经验中学习受到影响。本文提供了关于可塑性丧失的一致解释，认为在训练过程中神经网络方向的曲率减少导致了可塑性的丧失。通过对多个连续监督学习问题进行系统的实证研究，我们发现曲率减少与可塑性丧失同时或之前发生，同时证明了以前的解释无法解释所有情况下的可塑性丧失。最后，我们展示了可以缓解可塑性丧失的正则化方法也能保持曲率，提出了一种简单的分布正则化方法，在考虑的问题设置中被证明是有效的。
Nov, 2023
深度神经网络的持续学习面临着与固定数据集和凸连续学习模式不同的挑战，其中一个挑战是可塑性损失，即在线训练的神经网络显示出适应新任务的能力下降。本文通过一系列实验研究了深度增强学习中的可塑性损失和多种缓解方法，并发现在领域转移情况下可塑性损失普遍存在，许多解决方法在这种情境下失败，相反，一类 “再生” 方法能够在各种环境中保持可塑性损失的缓解效果，包括网格世界任务以及像《蒙特祖玛的复仇》和 ProcGen 这样更具挑战性的环境。
May, 2024
本文研究基础模型学习分类表示在转移学习中的能力。我们通过解释过参数分类器所学习到的特征在转移学习中的普遍适用性，展示神经坍塌现象在样本训练类和新类别上的泛化性，并能成功应用在少样本学习任务中。
Dec, 2021
本文研究了深度学习系统在持续学习环境下的表现，发现其容易出现失去可塑性现象，影响其对新数据的适应能力，但通过 L2 正则化和重启动某些不常用单元的连续反向传播算法，可以缓解和避免这种现象。
Jun, 2023
本文介绍了一种简单的 “不受限特征模型”，该模型中神经网络崩溃现象得以实证，通过研究该模型，我们提供了关于神经网络崩溃产生原因的一些解释，从经验风险的角度进行解释。
Nov, 2020
本文研究神经网络的一种几何模式 —— 神经坍塌现象。我们提出了一个模型 —— 无约束层剥模型（ULPM），证明了该模型的梯度流收敛到一个最小范数分离问题的临界点，表现出全局最小化时神经坍塌现象。此外，我们还表明，采用交叉熵损失函数的 ULPM 具有良好的全局景观，所有临界点都是严格鞍点，除全局最小值外不发生神经坍塌现象。我们的实验证明，即使不使用显式正则化或权重衰减，我们的结果也适用于神经网络的实际任务训练。
Oct, 2021
神经崩溃是最后一层神经网络分类器中出现的几何结构，本文研究了批归一化和权重衰减对神经崩溃的影响，并提出了几何直观的类内和类间余弦相似度度量来捕捉神经崩溃的核心方面。结果表明，批归一化和权重衰减可能是神经崩溃出现的基本因素。
Sep, 2023