神经排序崩溃：权重衰减和小的内类变异性带来低秩偏差

Feb, 2024

神经排序崩溃：权重衰减和小的内类变异性带来低秩偏差

Neural Rank Collapse: Weight Decay and Small Within-Class Variability Yield Low-Rank Bias

Emanuele Zangrando, Piero Deidda, Simone Brugiapaglia, Nicola Guglielmi, Francesco Tudisco

TL;DR深度学习中的低秩偏好与神经网络的神经层塌陷现象相关，权重衰减参数的增长导致网络中每一层的秩与前一层隐藏空间嵌入的类内变异成正比减少。

Abstract

Recent work in deep learning has shown strong empirical and theoretical evidence of an implicit low-rank bias: weight matrices in deep networks tend to be approximately low-rank and removing relatively small sing

deep learning low-rank bias neural networks weight decay parameter neural rank collapse

发现论文，激发创造

探索神经衰竭：批标准化和权重衰减的影响

神经崩溃是最后一层神经网络分类器中出现的几何结构，本文研究了批归一化和权重衰减对神经崩溃的影响，并提出了几何直观的类内和类间余弦相似度度量来捕捉神经崩溃的核心方面。结果表明，批归一化和权重衰减可能是神经崩溃出现的基本因素。

Sep, 2023

训练不变量和低秩现象：超越线性网络

本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

Jan, 2022

神经崩溃与低秩偏差：深度神经网络崩溃是否真正最优？

深度神经网络中的神经塌缩现象对于非线性模型和多分类问题呈现低秩结构的突变是其优化的主要原因。

May, 2024

深度神经网络中的低秩简约偏差

本文提出深度神经网络可归纳地更倾向于寻找低秩嵌入的解，这种偏见在网络深度和宽度，初始化和训练过程中都存在，并且能够提高 CIFAR 和 ImageNet 数据集的泛化性能。

Mar, 2021

关于深度神经网络中稳定秩的影响

本研究探讨了深度神经网络模型稳定秩的空间，分析了前向动力学、初始化、训练和表达性等方面，并通过实证分析表明，仅稳定秩初始化即可加速收敛速度。

Oct, 2021

深度神经网络中的降维

本文研究神经网络的秩与结构缺陷，通过理论和实验发现了深度神经网络中秩缺陷和分类的独立性缺陷。

Jun, 2022

低秩学习设计：网络架构和激活线性在梯度秩崩溃中的作用

我们在深度神经网络的学习动态方面的理解仍然不完整。最近的研究开始揭示了这些网络的数学原理，包括 “神经坍塌” 现象，在训练的后期，DNN 内的线性分类器会收敛到特定的几何结构。然而，几何约束在学习中的作用并不仅限于这个阶段。本文对 DNN 中的梯度秩进行了全面研究，研究了体系结构选择和数据结构对梯度秩界限的影响。我们的研究不仅有助于理解 DNN 中的学习动态，而且为深度学习工程师提供了实践指导，以便做出明智的设计决策。

Feb, 2024

图神经网络中的排名崩溃导致过度平滑和过度相关

我们的研究揭示了深度图神经网络中的超平滑和特征过相关性的新的理论洞见。我们展示了不变子空间的普遍性，证明了固定的相对行为不受特征变换的影响。在线性场景中，这导致节点表示被低维子空间主导，其渐近收敛速率与特征变换无关，这导致节点表示的秩崩溃，从而在平滑向量跨越该子空间时产生超平滑，在避免超平滑的情况下产生超相关。根据我们的理论，我们提出了作为有益属性的 Kronecker 乘积之和，可以明确防止超平滑、超相关和秩崩溃。我们从实证角度将我们的洞见扩展到非线性情况，证明了现有模型无法捕捉线性独立特征。

Aug, 2023

现代深度学习中为什么我们需要权重衰减？

从 ResNets 到 LLMs 的统一视角，权重衰减不是一个显式正则化器，而是以期望的方式改变训练动态。

Oct, 2023

低秩权重对神经网络对抗鲁棒性的影响

研究的问题是通过压缩来探究神经元网络的鲁棒性并揭示其中的关键特性，其中低秩结构通过核范数正则化促进并结合稀疏性使神经网络显示出显著的鲁棒性。

Jan, 2019