Sep, 2023

关于元学习模型中神经坍塌的作用对少样本学习的研究

PDF
TL;DR元学习框架用于少样本学习，旨在学习能够快速学习新技能或适应新环境的模型。本研究首次探索和理解元学习框架中神经坍塌现象的特性，观察到学习到的特征确实呈现神经坍塌趋势，然而并不完全符合神经坍塌性质的度量。通过在 Omniglot 数据集上进行研究，揭示了表示学习中的神经坍塌现象。
meta-learning frameworksfew-shot learningneural collapserepresentation learningomniglot dataset
发现论文，激发创造
  • 深度线性网络中的神经崩溃：从平衡到不平衡数据

    研究表明，深度神经网络中的最后一层特征和分类器在经过训练直至收敛后仍呈现出相同的结构特性，表现为神经崩塌现象。本研究进一步证明了这种现象在深度线性网络中同样存在，并且成功地拓展到了失衡数据的情况下。实验证明了我们的理论分析。

    Jan, 2023

  • 论神经振荡在迁移学习中的作用

    本文研究基础模型学习分类表示在转移学习中的能力。我们通过解释过参数分类器所学习到的特征在转移学习中的普遍适用性，展示神经坍塌现象在样本训练类和新类别上的泛化性，并能成功应用在少样本学习任务中。

    Dec, 2021

  • 多标签学习中的神经网络崩溃问题与全局标签损失

    我们研究了深度神经网络在多标签分类任务中的神经折叠现象，通过研究我们证明了具有 “选择全部标签” 形式的广义神经折叠现象成立，同时发现了多标签学习中独特的 “标签平均” 的组合属性，并在理论上建立了全局优化结果和训练效率的实证证据。

    Oct, 2023

  • 探索神经坍塌时的泛化行为

    深度神经网络中神经崩溃现象及其对泛化性能的影响，以及多类支持向量机、非保守性泛化等的理论解释与实验观察。

    Oct, 2023

  • 分类神经网络中的中间隐藏层神经失调

    分类神经网络的中间隐藏层中出现一定程度的神经崩溃，而崩溃的程度通常与该层的深度正相关。此外，浅层网络主要减少样本内类别方差，类之间的角度分离随着隐藏层深度的增加而增加。实验结果提供了有关特征在分类神经网络中结构传播的细粒度洞察。

    Aug, 2023

  • 基于神经衰竭启发的特征 - 分类器对齐方法在少样本类增量学习中的应用

    本文提出一种基于神经坍塌的框架用于少样本类增量学习，使用分类器原型作为整个标签空间的简单等角紧框架，采用一个新型的损失函数以驱动特征向其相应原型。理论分析表明，该方法在增量方式下保持了神经坍塌最优性并不破坏特征 - 分类器对齐。在 miniImageNet、CUB-200 和 CIFAR-100 数据集上的实验证明了我们提出的框架优于现有技术的表现。

    Feb, 2023

  • 神经网络在均方误差损失下的优化景观：无约束特征下的全局最优性

    在分类任务的深度神经网络训练中，观察到了一个现象，称为神经崩溃，它似乎无论损失函数的选择如何，都会在最后一层分类器和特征中发生。作者提供了在均方误差损失下，神经崩溃解决方案是唯一的全局极小值，并且研究了调整超参数来改善优化景观的可能性，最后在实际网络框架上验证了理论发现。

    Mar, 2022

  • 大规模多类别问题的广义神经塌陷

    该论文扩展了神经崩溃理论到类别数量远大于特征空间维度的情况，并提供了实证和理论研究以验证广义神经崩溃现象的存在和原理。

    Oct, 2023

  • 语言崩溃：（大型）语言模型中的神经崩溃

    本文通过实证研究探讨了扩展的因果语言模型（CLMs）的体系结构和训练对其进展向神经坍缩（NC）的影响，发现随着规模的扩大，NC 的特性与泛化之间存在联系，并且即使在规模上无关的情况下，NC 与泛化之间也存在某种关系。因此，本研究强调了 NC 的一般性，使其扩展到语言建模的新颖和更具挑战性的环境中，希望进一步研究该现象以加深对 LLMs（大型语言模型）和神经网络的理解，并改进基于 NC 相关特性的现有架构。

    May, 2024

  • 均方误差下的神经崩溃：靠近中心路径的动态

    研究表明，最近发现的神经崩溃现象在均方误差和交叉熵损失训练的深度神经网络中普遍存在，由最后一层特征的崩溃导致，本文提出了一个新的理论构建，即中心路径，沿着此路径进行归一化梯度流动力学的研究得出了精确的动态预测神经崩溃现象。

    Jun, 2021