MMMar, 2021

由多层感知器的不变性引起的分层 Jacobi 矩阵的渐近自由性：Haar 正交情况

PDF
TL;DR本文证明了在多层感知器中，层级雅可比矩阵的渐近自由假设，使得通过层中传播特征分布成为可能。通过使用自由概率理论得到的结果，在神经网络的参数和输入雅可比矩阵中，它们是层级雅可比矩阵的多项式，通过使用 Haar 正交随机矩阵解决了使用这些雅可比矩阵的数学困难。
发现论文，激发创造
  • 深度残差学习中的频谱集中：一种自由概率方法

    使用自由概率的强大工具对深度残差网络（ResNets）的初始化进行重审，并建议按残差单元数量重新缩放经典随机初始化，以获得数量级更高的学习速度。

    Jul, 2018

  • 自由概率和随机矩阵

    本文介绍了 Voiculescu 提出的自由性概念，讨论了其在算子代数和大型随机矩阵中的应用，通过线性化技巧结合各种自由概率结果成功地解决了确定独立随机矩阵中一般自伴随多项式的渐近特征值分布问题。

    Apr, 2014

  • 修正线性单层感知器中权重分布的不变性

    通过分析等价核，我们探讨了具有旋转不变性的权重分布和 ReLU 或 LeakyReLU 激活函数的多层感知机等价核，并使用中心极限定理表明了具有 0 平均值和有限绝对第三矩的权重分布相对于球形高斯权重层的核是渐近通用的。同时，深度网络的等效核趋向于病态固定点，这可用于证明随机初始化网络训练困难。

    Nov, 2017

  • 张量程序 III：神经矩阵法则

    该论文发现神经网络中的权重与激活函数节点随着神经网络的宽度趋近于无穷时变得独立，并且给出了这个发现的几个相关应用。

    Sep, 2020

  • 广义反向传播，案例研究：正交性

    本研究介绍了一种新的 backpropagation 算法，并使用 Riemannian 几何和优化技术在矩阵流形上实现了层与层之间约束权重的深度神经网络，特别是引入了 Stiefel 层，对于无监督的特征学习至细粒度图像分类有很多好处。

    Nov, 2016

  • 关于酉、正交和辛群上的 Haar 测度积分

    使用简单的代数论证了多项式函数在酉群、正交群和辛群上的 Haar 测度下的积分。得出了精确公式和渐近行为，并证明了 Haar 分布的正交和辛随机矩阵的渐近自由性以及类似 Itzykson-Zuber 积分的收敛性。

    Feb, 2004

  • 关于雅可比正则化训练神经网络的无限宽度分析

    该研究采用无穷宽度分析，证明了深度神经网络及其雅可比矩阵初始条件下，当隐藏层宽度趋近无穷时，它们共同收敛于高斯过程，并通过一种线性一阶常微分方程描述了在所谓鲁棒训练下的多层感知机演化，该方程由一种神经切向核的变体决定。实验证明了理论断言与宽有限网络的相关性，并通过核回归解析研究雅可比矩阵正则化的性质。

    Dec, 2023

  • 关于正交性和学习具有长期依赖性的递归网络

    本文探讨了针对深度神经网络和循环神经网络中的梯度消失或梯度爆炸问题，使用正交矩阵作为约束条件以保持梯度范数，并且提出了一种使用矩阵分解和参数化策略的方法以控制反向传播期间所导致的扩张性。通过分析，本文发现硬正交矩阵约束会对收敛速度和模型性能产生负面影响。

    Jan, 2017

  • 构建任意矩阵群等变多层感知器的实用方法

    提供求解矩阵群等变层的通用算法，在多个未曾解决的群中构建具有多个群等变性的多层感知器，优于非等变基线模型，在粒子物理和动力系统中应用。

    Apr, 2021

  • 深度网络中谱普适性的出现

    利用自由概率理论，对深度网络输入 - 输出 Jacobian 谱的结构进行研究，探讨非线性、权值、偏置分布、深度等超参数对 Jacobian 谱的影响。我们发现，不同的非线性函数都符合一些新的普适极限谱分布，即使深度接近无穷，这些分布也可以牢固地集中于 1 附近，从而可以为深度网络的设计提供重要的指导。

    Feb, 2018