Feb, 2024

平均梯度外积：作为深度神经崩溃机制

PDF
TL;DRDeep Neural Collapse（DNC）是深度神经网络（DNNs）中最终层数据表示的令人惊讶的刚性结构。本研究提供了实质性的证据，表明 DNC 主要通过平均梯度外积（AGOP）进行深度特征学习形成。我们证明了权重的右奇异向量和奇异值是 DNNs 中类内变异性大部分倒塌的原因之一，并与 AGOP 的奇异结构高度相关。此外，我们实验和理论上证明了 AGOP 在随机初始化的神经网络中引起神经崩溃。由此证明，Deep Recursive Feature Machines 是 AGOP 在卷积神经网络中进行特征学习的抽象方法，并且表现出 DNC 现象。
deep neural collapsedncaverage gradient outer productneural collapsedeep recursive feature machines
发现论文，激发创造
  • 深度神经网络崩塌对于深度非约束特征模型具有可证明的最优性

    本文将已有的理论框架扩展到多个非线性层，通过理论证明和实验验证，说明神经网络的最后一个层的可折叠性会向更早的层传播，同时解释了已有的实验结果。

    May, 2023

  • 卷积神经网络特征学习机制

    理解卷积神经网络从图像数据中学习特征的机制是机器学习和计算机视觉中的一个基本问题。本研究提出了卷积神经特征假设并通过实证和理论论证，证明了滤波器的协方差与输入层的补丁平均梯度外积具有高度相关性。此外，研究通过基于补丁平均梯度外积的 (深度) ConvRFM 算法在卷积核机器中实现了深层特征学习，克服了卷积核的局部自适应性限制，并在性能上取得了显著提升。

    Sep, 2023

  • 神经崩溃与低秩偏差：深度神经网络崩溃是否真正最优？

    深度神经网络中的神经塌缩现象对于非线性模型和多分类问题呈现低秩结构的突变是其优化的主要原因。

    May, 2024

  • 通过超球形均匀间隙实现神经坍塌的泛化和解耦

    该研究提出了广义神经坍塌假设（GNC），使用超球统一性作为衡量内部类别可变性和外部类别可分性的框架，提出一种泛化目标 HUG，通过测量 GNC 和 HUG 之间的差异来解耦 GNC，作为一种有效的交叉墒代价函数的替代函数。

    Mar, 2023

  • 深度线性网络中的神经崩溃：从平衡到不平衡数据

    研究表明，深度神经网络中的最后一层特征和分类器在经过训练直至收敛后仍呈现出相同的结构特性，表现为神经崩塌现象。本研究进一步证明了这种现象在深度线性网络中同样存在，并且成功地拓展到了失衡数据的情况下。实验证明了我们的理论分析。

    Jan, 2023

  • 大规模多类别问题的广义神经塌陷

    该论文扩展了神经崩溃理论到类别数量远大于特征空间维度的情况，并提供了实证和理论研究以验证广义神经崩溃现象的存在和原理。

    Oct, 2023

  • 神经（正切核）崩塌

    本研究介绍了神经切比雪夫核（NTK）和神经塌缩（NC）现象对深度神经网络（DNN）训练的影响，提出了经验 NTK 应发展为与类标签对齐的块状结构，分析了 DNN 的动态并证明了块状 NTK 中存在 NC 现象。通过数值实验验证了理论的正确性。

    May, 2023

  • 低秩学习设计：网络架构和激活线性在梯度秩崩溃中的作用

    我们在深度神经网络的学习动态方面的理解仍然不完整。最近的研究开始揭示了这些网络的数学原理，包括 “神经坍塌” 现象，在训练的后期，DNN 内的线性分类器会收敛到特定的几何结构。然而，几何约束在学习中的作用并不仅限于这个阶段。本文对 DNN 中的梯度秩进行了全面研究，研究了体系结构选择和数据结构对梯度秩界限的影响。我们的研究不仅有助于理解 DNN 中的学习动态，而且为深度学习工程师提供了实践指导，以便做出明智的设计决策。

    Feb, 2024

  • 探索神经衰竭：批标准化和权重衰减的影响

    神经崩溃是最后一层神经网络分类器中出现的几何结构，本文研究了批归一化和权重衰减对神经崩溃的影响，并提出了几何直观的类内和类间余弦相似度度量来捕捉神经崩溃的核心方面。结果表明，批归一化和权重衰减可能是神经崩溃出现的基本因素。

    Sep, 2023

  • EPA：基于神经崩溃的鲁棒的外部分布检测器

    基于对 ID 子空间特征及其内在属性的全局特征的综合研究，本文提出一种新型 NC（Neural Collapse）启发的 OOD 评分函数 EPA（Entropy-enhanced Principal Angle），通过将主要的角度与 ID 特征子空间之间的观察整合，实现对 OOD 可能性的有效测量，并通过与其他 SOTA 方法的实验比较证实了其在不同网络架构和 OOD 数据集上的卓越性能和鲁棒性。

    Jan, 2024