Apr, 2023

神经塌陷现象的研究：Grassmann 框架，对称性，泛化

PDF
TL;DR本文提出了广义神经崩溃假说，并通过优化和分类的推广获得 Grassmann 框架结构。该结构在球面上最大化地分离每两类的特征，不需要比类别数量更大的特征维度。我们发现了对称泛化现象，并提供了一个用于解释置换的对称泛化定理。尽管不同特征方向导致不同泛化的原因仍需未来研究。
发现论文，激发创造
  • 通过诱导神经崩溃到固定的分层感知框架以降低错误严重性

    该研究提出了一种新的深度神经网络架构，通过固定线性分类器到 Hierarchy-Aware Frame (HAFrame)，利用余弦相似度辅助损失函数来学习 collapse 到 HAFrame 的层级感知特征，从而降低模型预测的误差且保持其准确性。

    Mar, 2023

  • 无限制特征下神经崩溃的几何分析

    我们提供了关于神经网络结构中神经崩溃现象的全局优化景观分析，发现交叉熵损失在没有约束条件的特征模型中存在良性全局景观，其中 Simplex ETFs 是唯一的全局最小值，并且我们的实验表明可以通过设置特征维度等于类别数并将最后一层分类器固定为 Simplex ETF 来降低内存使用量。

    May, 2021

  • 大规模多类别问题的广义神经塌陷

    该论文扩展了神经崩溃理论到类别数量远大于特征空间维度的情况，并提供了实证和理论研究以验证广义神经崩溃现象的存在和原理。

    Oct, 2023

  • 深度学习的神经坍塌对理解泛化的局限性

    探究神经坍塌现象在深度学习中的作用，研究神经坍塌现象对于泛化能力与优化能力的影响，发现神经坍塌现象主要是一种优化现象，同时也探究了神经坍塌现象在特征学习等方面的表现。

    Feb, 2022

  • 图神经网络特征演化的神经倒塌视角

    本文探讨了图神经网络中的特征演变与拓扑关系，并通过 “神经崩溃” 现象展示了节点分类中的该现象。作者进行了实证研究和理论分析，发现理论模型要求图满足一定严格的结构条件才能得到准确的收缩，并最终通过对图神经网络的研究比较了不同层之间的特征变化与光谱方法的差异。

    Jul, 2023

  • 通过超球形均匀间隙实现神经坍塌的泛化和解耦

    该研究提出了广义神经坍塌假设（GNC），使用超球统一性作为衡量内部类别可变性和外部类别可分性的框架，提出一种泛化目标 HUG，通过测量 GNC 和 HUG 之间的差异来解耦 GNC，作为一种有效的交叉墒代价函数的替代函数。

    Mar, 2023

  • 深度线性网络中的神经崩溃：从平衡到不平衡数据

    研究表明，深度神经网络中的最后一层特征和分类器在经过训练直至收敛后仍呈现出相同的结构特性，表现为神经崩塌现象。本研究进一步证明了这种现象在深度线性网络中同样存在，并且成功地拓展到了失衡数据的情况下。实验证明了我们的理论分析。

    Jan, 2023

  • 探索神经坍塌时的泛化行为

    深度神经网络中神经崩溃现象及其对泛化性能的影响，以及多类支持向量机、非保守性泛化等的理论解释与实验观察。

    Oct, 2023

  • 神经塌陷的稳健性和稳健性的神经塌陷

    神经坍缩是神经网络训练结束时的奇特现象，它的特征向量和分类权重收敛为一个非常简单的几何结构（简单形）。本研究探究这些简单形的稳定性质，发现它们容易受到小型对抗性攻击的影响，扰动的示例可以在简单形的顶点之间跳跃。此外，作者分析了对抗性扰动优化的网络几何结构，发现神经坍缩在这些情况下普遍存在，干净和扰动的表示形成一致的简单形，并构建了一个鲁棒的近邻分类器。通过研究神经网络内部坍缩量的传播，作者发现了鲁棒和非鲁棒机器学习模型的新特性，并表明早期层次与后期层次在扰动数据上保持可靠的简单形。

    Nov, 2023

  • 论神经振荡在迁移学习中的作用

    本文研究基础模型学习分类表示在转移学习中的能力。我们通过解释过参数分类器所学习到的特征在转移学习中的普遍适用性，展示神经坍塌现象在样本训练类和新类别上的泛化性，并能成功应用在少样本学习任务中。

    Dec, 2021