Jun, 2024

核心与核心：探索数据结构如何影响神经崩溃

PDF
TL;DR最近，大量文献集中在 “神经坍塌”（NC）现象上，当训练神经网络分类器超过零误差训练点时出现。NC 的核心组成部分是网络最深特征的类内变异性的减少，被称为 NC1。我们提供了一个基于核的分析，不受数据对坍塌程度的影响的简化非约束特征模型（UFM）的限制。通过给定核函数，建立样本特征的类内和类间协方差矩阵的迹的表达式（因此是 NC1 度量）。然后，我们转向研究与浅层神经网络相关的核。首先，我们考虑神经网络高斯过程核（NNGP），与初始化时的网络相关联，并且补充神经切线核（NTK），与其在 “懒惰模式” 下的训练相关。有趣的是，我们证明对于典型数据模型，NTK 并不表示比 NNGP 更多坍塌的特征。当 NC 出现时，我们考虑一个替代 NTK 的方法：最近提出的自适应核，它将 NNGP 推广为从训练数据中学到的特征映射模型。通过对这两种核的 NC1 分析进行对比，可以获得关于数据分布对坍塌程度的影响的见解，这与实际训练神经网络的行为符合实证观察。
发现论文，激发创造
  • 神经（正切核）崩塌

    本研究介绍了神经切比雪夫核（NTK）和神经塌缩（NC）现象对深度神经网络（DNN）训练的影响，提出了经验 NTK 应发展为与类标签对齐的块状结构，分析了 DNN 的动态并证明了块状 NTK 中存在 NC 现象。通过数值实验验证了理论的正确性。

    May, 2023

  • 图神经网络特征演化的神经倒塌视角

    本文探讨了图神经网络中的特征演变与拓扑关系，并通过 “神经崩溃” 现象展示了节点分类中的该现象。作者进行了实证研究和理论分析，发现理论模型要求图满足一定严格的结构条件才能得到准确的收缩，并最终通过对图神经网络的研究比较了不同层之间的特征变化与光谱方法的差异。

    Jul, 2023

  • 分类神经网络中的中间隐藏层神经失调

    分类神经网络的中间隐藏层中出现一定程度的神经崩溃，而崩溃的程度通常与该层的深度正相关。此外，浅层网络主要减少样本内类别方差，类之间的角度分离随着隐藏层深度的增加而增加。实验结果提供了有关特征在分类神经网络中结构传播的细粒度洞察。

    Aug, 2023

  • 神经网络学习的统一核心

    该论文介绍了一种名为 Unified Neural Kernel (UNK) 的方法，用于描述神经网络的学习动态以及参数初始化。通过渐进学习步骤，UNK 核的行为呈现类似于 Neural Tangent Kernel (NTK)，而随着学习步骤接近无穷大，其收敛于 Neural Network Gaussian Process (NNGP)。此外，论文还对 UNK 核的均匀紧密性和学习收敛性进行了理论表征，并通过实验证明了该方法的有效性。

    Mar, 2024

  • 神经切向核方法的神经网络修正

    使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

    Jul, 2020

  • 深度线性网络中的神经崩溃：从平衡到不平衡数据

    研究表明，深度神经网络中的最后一层特征和分类器在经过训练直至收敛后仍呈现出相同的结构特性，表现为神经崩塌现象。本研究进一步证明了这种现象在深度线性网络中同样存在，并且成功地拓展到了失衡数据的情况下。实验证明了我们的理论分析。

    Jan, 2023

  • 探索神经坍塌时的泛化行为

    深度神经网络中神经崩溃现象及其对泛化性能的影响，以及多类支持向量机、非保守性泛化等的理论解释与实验观察。

    Oct, 2023

  • 神经正切核：神经网络的收敛性和泛化性

    本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

    Jun, 2018

  • 深度学习与核学习：损失函数梯度与神经切向核的时间演变的实证研究

    在深度神经网络训练中，训练动力学与损失面的几何形态和时空变化紧密关联，揭示了深度学习过程中快速的混沌瞬变和稳定状态之间的显著关系。

    Oct, 2020

  • 通过超球形均匀间隙实现神经坍塌的泛化和解耦

    该研究提出了广义神经坍塌假设（GNC），使用超球统一性作为衡量内部类别可变性和外部类别可分性的框架，提出一种泛化目标 HUG，通过测量 GNC 和 HUG 之间的差异来解耦 GNC，作为一种有效的交叉墒代价函数的替代函数。

    Mar, 2023