分类神经网络的中间隐藏层中出现一定程度的神经崩溃，而崩溃的程度通常与该层的深度正相关。此外，浅层网络主要减少样本内类别方差，类之间的角度分离随着隐藏层深度的增加而增加。实验结果提供了有关特征在分类神经网络中结构传播的细粒度洞察。

Aug, 2023

研究表明，深度神经网络中的最后一层特征和分类器在经过训练直至收敛后仍呈现出相同的结构特性，表现为神经崩塌现象。本研究进一步证明了这种现象在深度线性网络中同样存在，并且成功地拓展到了失衡数据的情况下。实验证明了我们的理论分析。

Jan, 2023

本研究介绍了神经切比雪夫核（NTK）和神经塌缩（NC）现象对深度神经网络（DNN）训练的影响，提出了经验 NTK 应发展为与类标签对齐的块状结构，分析了 DNN 的动态并证明了块状 NTK 中存在 NC 现象。通过数值实验验证了理论的正确性。

May, 2023

深度神经网络中神经崩溃现象及其对泛化性能的影响，以及多类支持向量机、非保守性泛化等的理论解释与实验观察。

Oct, 2023

最近，大量文献集中在 “神经坍塌”（NC）现象上，当训练神经网络分类器超过零误差训练点时出现。NC 的核心组成部分是网络最深特征的类内变异性的减少，被称为 NC1。我们提供了一个基于核的分析，不受数据对坍塌程度的影响的简化非约束特征模型（UFM）的限制。通过给定核函数，建立样本特征的类内和类间协方差矩阵的迹的表达式（因此是 NC1 度量）。然后，我们转向研究与浅层神经网络相关的核。首先，我们考虑神经网络高斯过程核（NNGP），与初始化时的网络相关联，并且补充神经切线核（NTK），与其在 “懒惰模式” 下的训练相关。有趣的是，我们证明对于典型数据模型，NTK 并不表示比 NNGP 更多坍塌的特征。当 NC 出现时，我们考虑一个替代 NTK 的方法：最近提出的自适应核，它将 NNGP 推广为从训练数据中学到的特征映射模型。通过对这两种核的 NC1 分析进行对比，可以获得关于数据分布对坍塌程度的影响的见解，这与实际训练神经网络的行为符合实证观察。

Jun, 2024

元学习框架用于少样本学习，旨在学习能够快速学习新技能或适应新环境的模型。本研究首次探索和理解元学习框架中神经坍塌现象的特性，观察到学习到的特征确实呈现神经坍塌趋势，然而并不完全符合神经坍塌性质的度量。通过在 Omniglot 数据集上进行研究，揭示了表示学习中的神经坍塌现象。

Sep, 2023

该论文扩展了神经崩溃理论到类别数量远大于特征空间维度的情况，并提供了实证和理论研究以验证广义神经崩溃现象的存在和原理。

Oct, 2023

本文将已有的理论框架扩展到多个非线性层，通过理论证明和实验验证，说明神经网络的最后一个层的可折叠性会向更早的层传播，同时解释了已有的实验结果。

May, 2023

神经坍缩是神经网络训练结束时的奇特现象，它的特征向量和分类权重收敛为一个非常简单的几何结构（简单形）。本研究探究这些简单形的稳定性质，发现它们容易受到小型对抗性攻击的影响，扰动的示例可以在简单形的顶点之间跳跃。此外，作者分析了对抗性扰动优化的网络几何结构，发现神经坍缩在这些情况下普遍存在，干净和扰动的表示形成一致的简单形，并构建了一个鲁棒的近邻分类器。通过研究神经网络内部坍缩量的传播，作者发现了鲁棒和非鲁棒机器学习模型的新特性，并表明早期层次与后期层次在扰动数据上保持可靠的简单形。

Nov, 2023

探究神经坍塌现象在深度学习中的作用，研究神经坍塌现象对于泛化能力与优化能力的影响，发现神经坍塌现象主要是一种优化现象，同时也探究了神经坍塌现象在特征学习等方面的表现。

Feb, 2022