在分类任务的深度神经网络训练中，观察到了一个现象，称为神经崩溃，它似乎无论损失函数的选择如何，都会在最后一层分类器和特征中发生。作者提供了在均方误差损失下，神经崩溃解决方案是唯一的全局极小值，并且研究了调整超参数来改善优化景观的可能性，最后在实际网络框架上验证了理论发现。

Mar, 2022

研究表明，深度神经网络中的最后一层特征和分类器在经过训练直至收敛后仍呈现出相同的结构特性，表现为神经崩塌现象。本研究进一步证明了这种现象在深度线性网络中同样存在，并且成功地拓展到了失衡数据的情况下。实验证明了我们的理论分析。

Jan, 2023

在该研究中，我们将神经坍缩现象推广到不平衡类别的交叉熵损失下，证明了虽然类内特征会坍缩，但类均值将收敛到长度不同的正交向量结构，并发现分类器权重与类均值的缩放和居中相关，这扩展了在平衡类别设置下的神经坍缩现象。通过在实际架构和数据集上进行实验证明了我们的结果。

Jan, 2024

本文研究神经网络的一种几何模式 —— 神经坍塌现象。我们提出了一个模型 —— 无约束层剥模型（ULPM），证明了该模型的梯度流收敛到一个最小范数分离问题的临界点，表现出全局最小化时神经坍塌现象。此外，我们还表明，采用交叉熵损失函数的 ULPM 具有良好的全局景观，所有临界点都是严格鞍点，除全局最小值外不发生神经坍塌现象。我们的实验证明，即使不使用显式正则化或权重衰减，我们的结果也适用于神经网络的实际任务训练。

Oct, 2021

该研究提出了一种新的深度神经网络架构，通过固定线性分类器到 Hierarchy-Aware Frame (HAFrame)，利用余弦相似度辅助损失函数来学习 collapse 到 HAFrame 的层级感知特征，从而降低模型预测的误差且保持其准确性。

Mar, 2023

现代深度神经网络在各种任务中取得了高性能，研究人员最近注意到这些网络的权重、Hessian 矩阵、梯度和特征向量中存在低维结构，这种低维结构在不同的数据集和架构上进行训练时都能观察到。在本文中，我们在理论上证明了这些观察结果的发生，并展示了如何在一个可以被分析地考虑的广义非约束特征模型中统一这些观察结果。特别地，我们考虑了一种先前描述的结构，称为神经坍缩，以及它的多层对应物，即深度神经坍缩，在网络接近全局最优解时出现。这种现象解释了观察到的其他低维行为，比如在 Hessian 谱中观察到的批量和离群结构，以及梯度下降与 Hessian 的离群特征空间的对齐。深度线性非约束特征模型及其非线性等效模型的经验结果支持了这些预测的观察结果。

Apr, 2024

本文介绍了一种简单的 “不受限特征模型”，该模型中神经网络崩溃现象得以实证，通过研究该模型，我们提供了关于神经网络崩溃产生原因的一些解释，从经验风险的角度进行解释。

Nov, 2020

本研究通过在不受约束的特征模型背景下，研究了交叉熵损失函数下不平衡数据的神经崩溃现象，发现特征向量在同一类中收敛为相同的平均向量，并确定了少数类崩溃的临界阈值，并且结果表明，数据大小不平衡的影响随着样本大小的增长而减小。实验结果验证了理论分析。

Sep, 2023

透过神经坍塌（Neural-collapse）的模式来研究优化的对比损失（supervised contrastive loss）在超参数化的深度神经网络中产生的解决方案，该论文通过采用无约束特征模型（UFM）的分析方法，证明了所有局部最小值都是全局最小值，而最小化器是唯一的（除了旋转）。最后，通过这个凸形式，深入研究在标签不平衡的训练数据下全局解的特性。

Feb, 2024

神经坍缩是神经网络训练结束时的奇特现象，它的特征向量和分类权重收敛为一个非常简单的几何结构（简单形）。本研究探究这些简单形的稳定性质，发现它们容易受到小型对抗性攻击的影响，扰动的示例可以在简单形的顶点之间跳跃。此外，作者分析了对抗性扰动优化的网络几何结构，发现神经坍缩在这些情况下普遍存在，干净和扰动的表示形成一致的简单形，并构建了一个鲁棒的近邻分类器。通过研究神经网络内部坍缩量的传播，作者发现了鲁棒和非鲁棒机器学习模型的新特性，并表明早期层次与后期层次在扰动数据上保持可靠的简单形。

Nov, 2023