- 神经塌陷的稳健性和稳健性的神经塌陷
神经坍缩是神经网络训练结束时的奇特现象，它的特征向量和分类权重收敛为一个非常简单的几何结构（简单形）。本研究探究这些简单形的稳定性质，发现它们容易受到小型对抗性攻击的影响，扰动的示例可以在简单形的顶点之间跳跃。此外，作者分析了对抗性扰动优化 - 关于在具有硬负采样的监督和非监督对比学习中的神经和维度崩塌
对于一种广泛研究的数据模型和一般损失和样本硬化函数，我们证明了监督对比学习（SCL）、强制对比学习（HSCL）和无监督对比学习（UCL）的风险在表现出神经塌缩（NC）的表示下被最小化，即类别平均值形成一个等角紧框架（ETF），同一类别的数据 - 多标签学习中的神经网络崩溃问题与全局标签损失
我们研究了深度神经网络在多标签分类任务中的神经折叠现象，通过研究我们证明了具有 “选择全部标签” 形式的广义神经折叠现象成立，同时发现了多标签学习中独特的 “标签平均” 的组合属性，并在理论上建立了全局优化结果和训练效率的实证证据。
- 探索神经坍塌时的泛化行为
深度神经网络中神经崩溃现象及其对泛化性能的影响，以及多类支持向量机、非保守性泛化等的理论解释与实验观察。
- 深度神经网络分类器中潜在二进制编码的出现
相关研究通过在深度神经网络分类器的潜在空间中引入线性倒数第二层进行训练，其中损失函数随着潜在空间中坐标的平方指数增长，促使了二进制编码的出现。这种现象是神经坍缩的一个特定实例，它在训练的最后阶段出现，导致潜在类均值崩溃到等角紧框图的顶点。我 - NECO：基于神经崩溃的异常检测
我们介绍了 NECO，一种基于神经元崩溃和主成分空间几何特性的后处理方法，用于检测异常数据。我们的实验结果显示 NECO 在小规模和大规模异常数据检测任务上都达到了最先进的效果，且在不同网络结构上具有强大的泛化能力。
- 释放神经坍缩的力量以进行可转移性估算
通过测量预训练模型中神经崩溃的程度，提出了一种名为 Fair Collapse（FaCe）的新方法用于传递性估计，该方法包括方差崩溃项和类公平度项。实验结果表明，FaCe 在图像分类、语义分割和文本分类等不同任务上取得了最先进的性能，证明了 - 大规模多类别问题的广义神经塌陷
该论文扩展了神经崩溃理论到类别数量远大于特征空间维度的情况，并提供了实证和理论研究以验证广义神经崩溃现象的存在和原理。
- 关于元学习模型中神经坍塌的作用对少样本学习的研究
元学习框架用于少样本学习，旨在学习能够快速学习新技能或适应新环境的模型。本研究首次探索和理解元学习框架中神经坍塌现象的特性，观察到学习到的特征确实呈现神经坍塌趋势，然而并不完全符合神经坍塌性质的度量。通过在 Omniglot 数据集上进行研 - 利用主成分分析探索神经网络的学习表示
对深度神经网络的特征表示进行理解仍然是可解释人工智能领域中一个开放问题。本研究使用主成分分析（PCA）来研究在 CIFAR-10 上训练的 ResNet-18 的逐层学习表示对 k 最近邻分类器（k-NN）、最近类中心分类器（NCC）和支持 - 无约束特征模型下的神经塌陷问题
本研究通过在不受约束的特征模型背景下，研究了交叉熵损失函数下不平衡数据的神经崩溃现象，发现特征向量在同一类中收敛为相同的平均向量，并确定了少数类崩溃的临界阈值，并且结果表明，数据大小不平衡的影响随着样本大小的增长而减小。实验结果验证了理论分 - 探索神经衰竭：批标准化和权重衰减的影响
神经崩溃是最后一层神经网络分类器中出现的几何结构，本文研究了批归一化和权重衰减对神经崩溃的影响，并提出了几何直观的类内和类间余弦相似度度量来捕捉神经崩溃的核心方面。结果表明，批归一化和权重衰减可能是神经崩溃出现的基本因素。
- 分类神经网络中的中间隐藏层神经失调
分类神经网络的中间隐藏层中出现一定程度的神经崩溃，而崩溃的程度通常与该层的深度正相关。此外，浅层网络主要减少样本内类别方差，类之间的角度分离随着隐藏层深度的增加而增加。实验结果提供了有关特征在分类神经网络中结构传播的细粒度洞察。
- ICML神经元实际上被折叠了吗？神经表示中的细粒度结构
研究发现，在训练良好的神经网络中观察到神经坍塌现象，并提出即使当看起来的神经表示坍塌时，微小的剩余变化仍然可以忠实准确地捕捉输入分布的内在结构。
- 跨越鸿沟：基于神经崩溃启发的提示调整，应对分类不平衡的普适性
本文通过研究类别不平衡对大规模视觉语言模型的影响，提出了一种基于神经坍塌现象的 Prompt Tuning 方法 (NPT) 来增强其鲁棒性，并在 11 个不同的图像识别数据集上展开了综合实验，结果表明 NPT 在不平衡数据条件下的表现优于 - 神经网络变异性崩溃的定量化
本文提出了一种名为 VCI 的新指标，用于量化神经网络中可变性崩溃现象，该指标与线性探测损失密切相关，具有不变性和数值稳定性，并证实其可以表征预训练神经网络的可转移性。
- 探索长尾识别问题中的权重平衡
研究了一种针对长尾数据的方法，基于权重平衡和两阶段训练结合的经典正则化技术，通过分析神经崩溃和锥效应，发现该方法是通过权重衰减和交叉熵损失以及类平衡损失调整的隐式 logit 方法增加特征提取器的 Fisher 判别比率。研究表明，通过将训 - 神经（正切核）崩塌
本研究介绍了神经切比雪夫核（NTK）和神经塌缩（NC）现象对深度神经网络（DNN）训练的影响，提出了经验 NTK 应发展为与类标签对齐的块状结构，分析了 DNN 的动态并证明了块状 NTK 中存在 NC 现象。通过数值实验验证了理论的正确性 - 深度神经网络崩塌对于深度非约束特征模型具有可证明的最优性
本文将已有的理论框架扩展到多个非线性层，通过理论证明和实验验证，说明神经网络的最后一个层的可折叠性会向更早的层传播，同时解释了已有的实验结果。
- 基于信息瓶颈方法探究有监督对比学习中的神经网络崩溃
该研究使用信息瓶颈模型探究深度神经网络最终层激活几何学的神经崩溃现象，发现神经崩溃导致良好的泛化，且与对比学习中的最优特征有直接对应关系。