Jul, 2023

通过隐藏层的线性可分性理解深度神经网络

PDF
TL;DR我们通过线性可分性度量深度神经网络的隐藏层输出来研究其特征，发现隐藏层输出的线性可分性度量与网络的训练性能存在同步性，即如果更新的权重可以增强隐藏层输出的线性可分性，更新后的网络将获得更好的训练性能，反之亦然。此外，我们研究了激活函数和网络规模（包括宽度和深度）对隐藏层线性可分性的影响，并通过数值实验证实了我们的发现在一些流行的深度网络上的有效性，包括多层感知器（MLP）、卷积神经网络（CNN）、深度置信网络（DBN）、ResNet、VGGNet、AlexNet、视觉 Transformer（ViT）和 GoogLeNet。
deep neural networkslinear separabilityhidden layer outputsnetwork training performanceactivation function
发现论文，激发创造
  • 隐藏分类层：关于数据隐藏表示和类之间更高线性可分性的研究

    研究使用新的神经网络架构和错误函数在图像分类任务中改进分类器准确性的影响，提出了优先采用在隐层中数据表征更具线性可分性的训练方法，通过实验证明该方法可行。

    Jun, 2023

  • 使用线性教师研究神经网络中的学习

    本文证明了，通过 SGD 训练具有 Leaky ReLU 激活函数的两层神经网络，可以在全局最小化交叉熵的同时学习线性可分数据，且学习的网络具有较为简单的近似线性决策边界。同时，本文提出了一种可以发现权重聚类的优化条件，并通过实验证明了理论分析的正确性。

    Jan, 2021

  • 多层均场网络实现深度分离

    本文研究深度学习理论中深度分离问题，证明了使用过参数化的神经网络能够有效地学习深度函数构造，其中该结果依赖于一种新的扩展平均场极限到多层神经网络的方法和一种损失因式分解方法。

    Apr, 2023

  • 探索神经网络线性特征解缠

    本文探讨了神经网络中的线性特征分离问题，提出了一种可学习的遮罩模块来区分线性和非线性特征，证实一部分特征可以提前进入线性可分离空间并与模型分离，从而提出了一种可行的模型剪枝策略，并在四个数据集上获得了良好的实验结果。

    Mar, 2022

  • 神经网络中逼近、深度分离与可学习性的关联

    本文主要研究深度神经网络、近似能力和可学习性之间的复杂关系，提出了必须在浅层神经网络中近似目标函数的概念，并给出了多个范例证明了深度神经网络的分离性，并结论它们即使被高效近似，也不能被高效学习。

    Jan, 2021

  • 深度学习中的数据分离法则

    该研究提出一种精确规律，通过深度神经网络底层到顶层的分类解决能力分析，设计网络架构，提高模型稳健性和性能，并解释深度学习预测。

    Oct, 2022

  • 深度神经网络中线性区域特性的实证研究

    通过局部属性的研究，探究了 DNN 的表达能力和优化技术对其决策边界的影响，并希望这一研究能够启示新型优化技术的设计和发现 DNN 的行为模式。

    Jan, 2020

  • 神经网络中的深度分离：将维度分离出来与准确性

    证明了在满足条件的情况下，当用深度为 2 和深度为 3 的神经网络来近似一个在 [0,1]^d 上与 Lipschitz 目标函数的 constant 精度相等的分布时，存在指数级的差距。

    Feb, 2024

  • 关于多集合和图神经网络的 Holder 稳定性

    通过对多重集模型和消息传递神经网络的分离质量进行分析，我们提出了两个分离质量更高的新型消息传递神经网络，以及在标准图学习任务上与标准消息传递神经网络进行的比较。

    Jun, 2024

  • 深度线性判别分析

    本文提出了 Deep Linear Discriminant Analysis（DeepLDA）方法，通过在深度神经网络中，学习可分离的线性潜在表示以进行分类的降维。作者的目标是最大化特征分布的相似度以推广传统的 LDA 算法，通过三个基准数据集的评估，DeepLDA 在 MNIST 和 CIFAR-10 上得到了竞争性的结果，在 STL-10 上也优于使用分类交叉熵进行训练的网络。

    Nov, 2015