本文提出一种基于神经坍塌的框架用于少样本类增量学习，使用分类器原型作为整个标签空间的简单等角紧框架，采用一个新型的损失函数以驱动特征向其相应原型。理论分析表明，该方法在增量方式下保持了神经坍塌最优性并不破坏特征 - 分类器对齐。在 miniImageNet、CUB-200 和 CIFAR-100 数据集上的实验证明了我们提出的框架优于现有技术的表现。

Feb, 2023

本研究介绍了一个两阶段的框架，旨在加强长尾类增量学习，使模型能够在逐步学习新类别的同时，减轻在长尾数据分布中可能出现的灾难性遗忘。该框架通过利用全局方差作为信息度量和第二阶段的类别原型，实现了分类器的对齐，从而有效捕捉类别属性，消除了数据平衡或额外层调整的需求。在第一阶段使用传统的类别增量学习损失函数的同时，该方法加入了混合类别以学习鲁棒的特征表示，确保更平滑的边界。该框架可以作为一个模块与任何类别增量学习方法无缝集成，有效处理长尾类增量学习场景。在 CIFAR-100 和 ImageNet-Subset 数据集上进行的大量实验证明了该方法的有效性，在各种长尾类增量学习设置中表现出了优越性。

Nov, 2023

通过采用动态网络算法和中心点增强方法，提出一种任务感知可扩展的框架（Task-aware Expandable，TaE），用于解决长尾类增量学习问题，并在 CIFAR-100 和 ImageNet100 数据集上进行实验证明其能取得最先进的性能。

Feb, 2024

在该研究中，我们将神经坍缩现象推广到不平衡类别的交叉熵损失下，证明了虽然类内特征会坍缩，但类均值将收敛到长度不同的正交向量结构，并发现分类器权重与类均值的缩放和居中相关，这扩展了在平衡类别设置下的神经坍缩现象。通过在实际架构和数据集上进行实验证明了我们的结果。

Jan, 2024

本文提出了两种长尾分布的增量学习场景，研究了在这两个场景下现有方法的表现，并提出了一种包含学习可调权重层的两阶段基线，用于减少由长尾分布引起的偏差，同时提高常规增量学习的性能。在 CIFAR-100 和 ImageNet-Subset 上，该方法表现卓越（最高平均增量精度提高 6.44 个百分点）。

Oct, 2022

通过数据不平衡的角度来分析深度神经网络在连续学习新概念时容易出现灾难性遗忘问题，提出了一种名为 Uniform Prototype Contrastive Learning (UPCL) 的方法，通过学习均匀且紧凑的特征来解决动态不平衡问题，并通过在多个基准数据集上的实验验证了其在性能上的优越性。

May, 2024

训练深度网络的末期化训练（TPT）会导致神经坍塌现象，即最后一层训练激活的交叉示例内部变化降至零，导致分类器的决策简化为最近的类中心决策规则，然而这种对称且非常简单的几何结构具有更好的泛化性能，更好的稳健性和更好的可解释性。

Aug, 2020

本文通过使用无限制特征模型和引入 Simplex 编码标签插值（SELI）作为神经坍塌现象的不变特征，证明了在使用交叉熵损失和消失正则化时，不受类别不平衡的影响，分类器总是插值出一个 Simplex 编码标签矩阵，而它们的几何形状取决于相同标签矩阵的 SVD 因子。同时，实验结果也表明收敛速度会随着类别不平衡的增加而变慢，并证明正则化对于修正分类器的几何形状也有着至关重要的作用。

Aug, 2022

通过使用多层知识蒸馏等技术，原有的动态扩展架构被改进，被称作任务相关增量学习（TCIL），以改善现有的一些问题，比如任务冲突和遗忘问题，在 CIFAR100 和 ImageNet100 数据集上，实验证明 TCIL 显著提高了准确性。

Dec, 2022

元学习框架用于少样本学习，旨在学习能够快速学习新技能或适应新环境的模型。本研究首次探索和理解元学习框架中神经坍塌现象的特性，观察到学习到的特征确实呈现神经坍塌趋势，然而并不完全符合神经坍塌性质的度量。通过在 Omniglot 数据集上进行研究，揭示了表示学习中的神经坍塌现象。

Sep, 2023