neural collapse | BriefGPT - AI 论文速递

关键词neural collapse

搜索结果 - 58

ICML揭示督导学习中信息互动的动态
利用矩阵信息理论作为分析工具，本文研究了数据表示和分类头向量在监督学习过程中的信息交互动态，引入了矩阵互信息比率（MIR）和矩阵熵差比率（HDR）来评估数据表示和分类头在监督学习中的相互作用，并确定了当发生神经坍缩时 MIR 和 HDR 的
PDFa month ago
核心与核心：探索数据结构如何影响神经崩溃
最近，大量文献集中在 “神经坍塌”（NC）现象上，当训练神经网络分类器超过零误差训练点时出现。NC 的核心组成部分是网络最深特征的类内变异性的减少，被称为 NC1。我们提供了一个基于核的分析，不受数据对坍塌程度的影响的简化非约束特征模型（U
PDFa month ago
基于神经坍缩的特征分离追求外域检测
本文通过神经坍缩（Neural Collapse）的特性来界定问题，并提出了一种称为 OrthLoss 的简单而有效的损失函数，将 OOD 数据的特征束缚在与 ID 特征的主要子空间正交的一个子空间中，从而通过不同的维度分离 ID 和 OO
PDFa month ago
语言崩溃：（大型）语言模型中的神经崩溃
本文通过实证研究探讨了扩展的因果语言模型（CLMs）的体系结构和训练对其进展向神经坍缩（NC）的影响，发现随着规模的扩大，NC 的特性与泛化之间存在联系，并且即使在规模上无关的情况下，NC 与泛化之间也存在某种关系。因此，本研究强调了 NC
PDFa month ago
几何复杂度对转移学习中神经塌陷的影响
通过实验证明，对预训练网络的几何复杂性进行操作会影响神经崩溃，这个效果也能推广到新类别的神经崩溃上，从而提升在下游任务中的性能，特别是在少样本学习设置中。
PDFa month ago
神经崩溃与低秩偏差：深度神经网络崩溃是否真正最优？
深度神经网络中的神经塌缩现象对于非线性模型和多分类问题呈现低秩结构的突变是其优化的主要原因。
PDFa month ago
ICML神经崩溃与差分隐私：NoisyGD 实现近乎完美的表示学习的奇异行为
通过在公共数据集上进行预训练的大规模表示学习显著增强下游任务中的差分隐私学习，神经坍塌现象的理论解释，研究不同预训练模型下的特征质量及差分隐私微调的鲁棒性问题，以及采用特征归一化和维度降低方法改善差分隐私微调的策略。
PDF2 months ago
CVPR超越捷径：通过神经坍缩的视角进行无偏学习
本文探讨了神经塌缩（Neural Collapse）现象在不平衡属性的偏倚数据集中的影响，提出了一种避免捷径学习的框架，通过设计神经塌缩结构的快捷方式引导模型，以捕捉内在的相关性，从而解决了偏倚分类的根本原因，实验证明该方法在训练过程中具有
PDF2 months ago
ResNet 训练的渐进式前馈塌陷
中间层的神经崩溃现象（NC）和渐进前向传播崩溃现象（PFC），以及它们对输入数据的依赖性扩展了对 ResNet 在分类问题中的理论理解。
PDF2 months ago
深度线性无约束特征模型在深度学习中统一低维观测
现代深度神经网络在各种任务中取得了高性能，研究人员最近注意到这些网络的权重、Hessian 矩阵、梯度和特征向量中存在低维结构，这种低维结构在不同的数据集和架构上进行训练时都能观察到。在本文中，我们在理论上证明了这些观察结果的发生，并展示了
PDF3 months ago
我们是否可以通过神经崩溃来理解可塑性？
本文探讨深度学习中两个最近发现的现象之间的联系：可塑性损失和神经崩溃。我们分析了它们在不同场景中的相关性，揭示了在第一任务的初始训练阶段存在显著关联。此外，我们介绍了一种规范化方法来减轻神经崩溃，证明了它在这种特定情况下减缓可塑性损失的有效
PDF3 months ago
CVPR在线持续学习的学习等角表示
我们提出了一种利用神经坍塌现象的高效在线持续学习方法，通过在表示空间中进行预备数据训练和残差修正，诱导神经坍塌形成简单光角紧框架（ETF）结构，使得连续学习的模型在仅进行单个时期的训练后更好地适应流数据。在使用 CIFAR-10/100、T
PDF3 months ago
使用固定随机分类器训练的深度神经网络模型在领域间转移更好
通过固定 ETF 权重的 DNN 模型训练，我们展示了在跨域数据集上显著提高传输性能的能力，尤其是在细粒度图像分类数据集上，超过了基准方法和明确漂白活跃度协方差的方法。
PDF4 months ago
平均梯度外积：作为深度神经崩溃机制
Deep Neural Collapse（DNC）是深度神经网络（DNNs）中最终层数据表示的令人惊讶的刚性结构。本研究提供了实质性的证据，表明 DNC 主要通过平均梯度外积（AGOP）进行深度特征学习形成。我们证明了权重的右奇异向量和奇异
PDF4 months ago
低秩学习设计：网络架构和激活线性在梯度秩崩溃中的作用
我们在深度神经网络的学习动态方面的理解仍然不完整。最近的研究开始揭示了这些网络的数学原理，包括 “神经坍塌” 现象，在训练的后期，DNN 内的线性分类器会收敛到特定的几何结构。然而，几何约束在学习中的作用并不仅限于这个阶段。本文对 DNN
PDF5 months ago
ICLR拓展边界：Mixup 对神经崩溃的影响
混合增强是一种数据增强策略，通过训练实例及其标签的凸组合来增强深度神经网络的鲁棒性和校准性。本研究深入探讨了混合增强对深度网络训练数据最后一层激活的影响，发现其激活结果呈现独特的几何配置，揭示了混合增强增强模型校准的机制。同时进行理论分析，
PDF5 months ago
交叉熵 vs. 标签平滑：神经崩溃视角
通过神经崩溃的视角研究标签平滑损失，发现标签平滑能够加快模型收敛速度，增强模型崩溃水平，提供了模型校准和性能优势的有价值见解，同时通过理论和实证相结合的方法，深化了对标签平滑和交叉熵损失之间差异的理解，并展示了神经崩溃框架在深度神经网络研究
PDF5 months ago
残差对齐：揭示残差网络的机制
ResNet 架构在深度学习中得到广泛采用，通过使用简单的跳跃连接显著提高性能，但其成功背后的机制仍然大部分未知。本文通过使用剩余雅可比矩阵对其构成的残差块进行线性化，并测量其奇异值分解，在分类任务中进行了对 ResNet 架构的彻底实证研
PDF6 months ago
基于无约束 ReLU 特征模型的交叉熵类不平衡学习的神经倒塌
在该研究中，我们将神经坍缩现象推广到不平衡类别的交叉熵损失下，证明了虽然类内特征会坍缩，但类均值将收敛到长度不同的正交向量结构，并发现分类器权重与类均值的缩放和居中相关，这扩展了在平衡类别设置下的神经坍缩现象。通过在实际架构和数据集上进行实
PDF6 months ago
EPA：基于神经崩溃的鲁棒的外部分布检测器
基于对 ID 子空间特征及其内在属性的全局特征的综合研究，本文提出一种新型 NC（Neural Collapse）启发的 OOD 评分函数 EPA（Entropy-enhanced Principal Angle），通过将主要的角度与 ID
PDF6 months ago