研究表明，深度神经网络中的最后一层特征和分类器在经过训练直至收敛后仍呈现出相同的结构特性，表现为神经崩塌现象。本研究进一步证明了这种现象在深度线性网络中同样存在，并且成功地拓展到了失衡数据的情况下。实验证明了我们的理论分析。

Jan, 2023

在该研究中，我们将神经坍缩现象推广到不平衡类别的交叉熵损失下，证明了虽然类内特征会坍缩，但类均值将收敛到长度不同的正交向量结构，并发现分类器权重与类均值的缩放和居中相关，这扩展了在平衡类别设置下的神经坍缩现象。通过在实际架构和数据集上进行实验证明了我们的结果。

Jan, 2024

本研究通过在不受约束的特征模型背景下，研究了交叉熵损失函数下不平衡数据的神经崩溃现象，发现特征向量在同一类中收敛为相同的平均向量，并确定了少数类崩溃的临界阈值，并且结果表明，数据大小不平衡的影响随着样本大小的增长而减小。实验结果验证了理论分析。

Sep, 2023

在分类任务的深度神经网络训练中，观察到了一个现象，称为神经崩溃，它似乎无论损失函数的选择如何，都会在最后一层分类器和特征中发生。作者提供了在均方误差损失下，神经崩溃解决方案是唯一的全局极小值，并且研究了调整超参数来改善优化景观的可能性，最后在实际网络框架上验证了理论发现。

Mar, 2022

我们研究了深度神经网络在多标签分类任务中的神经折叠现象，通过研究我们证明了具有 “选择全部标签” 形式的广义神经折叠现象成立，同时发现了多标签学习中独特的 “标签平均” 的组合属性，并在理论上建立了全局优化结果和训练效率的实证证据。

Oct, 2023

深度神经网络中神经崩溃现象及其对泛化性能的影响，以及多类支持向量机、非保守性泛化等的理论解释与实验观察。

Oct, 2023

本文探讨了图神经网络中的特征演变与拓扑关系，并通过 “神经崩溃” 现象展示了节点分类中的该现象。作者进行了实证研究和理论分析，发现理论模型要求图满足一定严格的结构条件才能得到准确的收缩，并最终通过对图神经网络的研究比较了不同层之间的特征变化与光谱方法的差异。

Jul, 2023

本文通过使用无限制特征模型和引入 Simplex 编码标签插值（SELI）作为神经坍塌现象的不变特征，证明了在使用交叉熵损失和消失正则化时，不受类别不平衡的影响，分类器总是插值出一个 Simplex 编码标签矩阵，而它们的几何形状取决于相同标签矩阵的 SVD 因子。同时，实验结果也表明收敛速度会随着类别不平衡的增加而变慢，并证明正则化对于修正分类器的几何形状也有着至关重要的作用。

Aug, 2022

对于一种广泛研究的数据模型和一般损失和样本硬化函数，我们证明了监督对比学习（SCL）、强制对比学习（HSCL）和无监督对比学习（UCL）的风险在表现出神经塌缩（NC）的表示下被最小化，即类别平均值形成一个等角紧框架（ETF），同一类别的数据映射到相同的表示。我们还证明了对于任何表示映射，相应的 HSCL 和 Hard-UCL（HUCL）的风险都被相应的 SCL 和 UCL 的风险下界约束。虽然 ETF 对于 SCL 的最优性已知，但只在 InfoNCE 损失情况下有效，然而在一般损失和硬化函数下，对于 HSCL 和 UCL 的最优性是新颖的。此外，我们的证明更为简洁、紧凑且透明。我们通过实验证明，初次尝试使用随机初始化和适当的硬度级别下的 HSCL 和 HUCL 风险的 ADAM 优化，结合单位球或单位球面特征归一化，确实可以收敛到 NC 几何形状。然而，不加入硬负样本或特征归一化的情况下，通过 ADAM 学习的表示存在维度塌缩（DC），并不能达到 NC 几何形状。

Nov, 2023

研究表明，最近发现的神经崩溃现象在均方误差和交叉熵损失训练的深度神经网络中普遍存在，由最后一层特征的崩溃导致，本文提出了一个新的理论构建，即中心路径，沿着此路径进行归一化梯度流动力学的研究得出了精确的动态预测神经崩溃现象。

Jun, 2021