ICLRJun, 2022

记忆膨胀：建模标签噪声下的神经崩溃

PDF
TL;DR本文探讨了神经坍塌现象及其在分类问题中的应用，提出了限制表达能力的神经网络模型和误差扩散现象的模型，并证明标签平滑方法可以提高分类任务的泛化能力。
neural collapsedeep neural networkfeature embeddinglabel smoothingclassification tasks
发现论文，激发创造
  • 大规模多类别问题的广义神经塌陷

    该论文扩展了神经崩溃理论到类别数量远大于特征空间维度的情况，并提供了实证和理论研究以验证广义神经崩溃现象的存在和原理。

    Oct, 2023

  • 无限制特征下的神经崩溃

    本文介绍了一种简单的 “不受限特征模型”，该模型中神经网络崩溃现象得以实证，通过研究该模型，我们提供了关于神经网络崩溃产生原因的一些解释，从经验风险的角度进行解释。

    Nov, 2020

  • 深度学习的神经坍塌对理解泛化的局限性

    探究神经坍塌现象在深度学习中的作用，研究神经坍塌现象对于泛化能力与优化能力的影响，发现神经坍塌现象主要是一种优化现象，同时也探究了神经坍塌现象在特征学习等方面的表现。

    Feb, 2022

  • 神经崩溃与差分隐私：NoisyGD 实现近乎完美的表示学习的奇异行为

    通过在公共数据集上进行预训练的大规模表示学习显著增强下游任务中的差分隐私学习，神经坍塌现象的理论解释，研究不同预训练模型下的特征质量及差分隐私微调的鲁棒性问题，以及采用特征归一化和维度降低方法改善差分隐私微调的策略。

    May, 2024

  • 基于无约束 ReLU 特征模型的交叉熵类不平衡学习的神经倒塌

    在该研究中，我们将神经坍缩现象推广到不平衡类别的交叉熵损失下，证明了虽然类内特征会坍缩，但类均值将收敛到长度不同的正交向量结构，并发现分类器权重与类均值的缩放和居中相关，这扩展了在平衡类别设置下的神经坍缩现象。通过在实际架构和数据集上进行实验证明了我们的结果。

    Jan, 2024

  • 无约束特征模型下的神经塌陷问题

    本研究通过在不受约束的特征模型背景下，研究了交叉熵损失函数下不平衡数据的神经崩溃现象，发现特征向量在同一类中收敛为相同的平均向量，并确定了少数类崩溃的临界阈值，并且结果表明，数据大小不平衡的影响随着样本大小的增长而减小。实验结果验证了理论分析。

    Sep, 2023

  • 语言崩溃：（大型）语言模型中的神经崩溃

    本文通过实证研究探讨了扩展的因果语言模型（CLMs）的体系结构和训练对其进展向神经坍缩（NC）的影响，发现随着规模的扩大，NC 的特性与泛化之间存在联系，并且即使在规模上无关的情况下，NC 与泛化之间也存在某种关系。因此，本研究强调了 NC 的一般性，使其扩展到语言建模的新颖和更具挑战性的环境中，希望进一步研究该现象以加深对 LLMs（大型语言模型）和神经网络的理解，并改进基于 NC 相关特性的现有架构。

    May, 2024

  • 论神经振荡在迁移学习中的作用

    本文研究基础模型学习分类表示在转移学习中的能力。我们通过解释过参数分类器所学习到的特征在转移学习中的普遍适用性，展示神经坍塌现象在样本训练类和新类别上的泛化性，并能成功应用在少样本学习任务中。

    Dec, 2021

  • 多标签学习中的神经网络崩溃问题与全局标签损失

    我们研究了深度神经网络在多标签分类任务中的神经折叠现象，通过研究我们证明了具有 “选择全部标签” 形式的广义神经折叠现象成立，同时发现了多标签学习中独特的 “标签平均” 的组合属性，并在理论上建立了全局优化结果和训练效率的实证证据。

    Oct, 2023

  • 失衡问题：重新审视神经陷入坍塌的几何特性

    本文通过使用无限制特征模型和引入 Simplex 编码标签插值（SELI）作为神经坍塌现象的不变特征，证明了在使用交叉熵损失和消失正则化时，不受类别不平衡的影响，分类器总是插值出一个 Simplex 编码标签矩阵，而它们的几何形状取决于相同标签矩阵的 SVD 因子。同时，实验结果也表明收敛速度会随着类别不平衡的增加而变慢，并证明正则化对于修正分类器的几何形状也有着至关重要的作用。

    Aug, 2022