该论文扩展了神经崩溃理论到类别数量远大于特征空间维度的情况,并提供了实证和理论研究以验证广义神经崩溃现象的存在和原理。
Oct, 2023
元学习框架用于少样本学习,旨在学习能够快速学习新技能或适应新环境的模型。本研究首次探索和理解元学习框架中神经坍塌现象的特性,观察到学习到的特征确实呈现神经坍塌趋势,然而并不完全符合神经坍塌性质的度量。通过在 Omniglot 数据集上进行研究,揭示了表示学习中的神经坍塌现象。
Sep, 2023
探究神经坍塌现象在深度学习中的作用,研究神经坍塌现象对于泛化能力与优化能力的影响,发现神经坍塌现象主要是一种优化现象,同时也探究了神经坍塌现象在特征学习等方面的表现。
Feb, 2022
通过实验证明,对预训练网络的几何复杂性进行操作会影响神经崩溃,这个效果也能推广到新类别的神经崩溃上,从而提升在下游任务中的性能,特别是在少样本学习设置中。
May, 2024
通过测量预训练模型中神经崩溃的程度,提出了一种名为 Fair Collapse(FaCe)的新方法用于传递性估计,该方法包括方差崩溃项和类公平度项。实验结果表明,FaCe 在图像分类、语义分割和文本分类等不同任务上取得了最先进的性能,证明了我们方法的有效性和泛化能力。
分类神经网络的中间隐藏层中出现一定程度的神经崩溃,而崩溃的程度通常与该层的深度正相关。此外,浅层网络主要减少样本内类别方差,类之间的角度分离随着隐藏层深度的增加而增加。实验结果提供了有关特征在分类神经网络中结构传播的细粒度洞察。
Aug, 2023
本文探讨了神经塌缩(Neural Collapse)现象在不平衡属性的偏倚数据集中的影响,提出了一种避免捷径学习的框架,通过设计神经塌缩结构的快捷方式引导模型,以捕捉内在的相关性,从而解决了偏倚分类的根本原因,实验证明该方法在训练过程中具有更好的收敛性能并在综合和真实世界的偏倚数据集上实现了最新的泛化性能。
本文研究了一种叫做特征坍塌的现象,即在学习任务中,扮演相似角色的元素会获得类似的表达方式,其中 LayerNorm 等规范化机制在特征坍塌和泛化中扮演着关键作用。通过在 NLP 任务中进行实验,证明了特征坍塌与泛化密切相关,并且在大样本极限下,相同角色的不同单词在神经网络中获得相同的局部特征表达。
May, 2023
本文探讨了神经坍塌现象及其在分类问题中的应用,提出了限制表达能力的神经网络模型和误差扩散现象的模型,并证明标签平滑方法可以提高分类任务的泛化能力。
Jun, 2022
研究发现,在训练良好的神经网络中观察到神经坍塌现象,并提出即使当看起来的神经表示坍塌时,微小的剩余变化仍然可以忠实准确地捕捉输入分布的内在结构。
Jun, 2023