Dec, 2023

标准化神经网络的自动优化

PDF
TL;DR利用矩阵流形的几何性质，我们提出了一种自动优化方法，对神经网络的归一化参数进行优化。通过层次化的权重归一化以限制利普希茨常数并增强梯度的可靠性，使训练后的网络适用于控制应用。通过初始化网络和根据初始化网络的 2-2 增益对数据进行归一化，我们的方法首先对网络进行初始化。然后，所提出的算法基于高维球面上的指数映射来进行更新。给定一个更新方向（如负内腔梯度），我们提出了两种不同的方式来确定下降的步长。第一种算法利用目标函数沿着组合球面流形上定义的更新曲线进行的自动微分。利用方向二阶导数信息，无需显式构造海森矩阵。第二种算法利用架构感知的主导次数极小化框架进行神经网络的优化。通过这些新进展，所提出的方法避免了手动调优和学习率的调度，从而为优化归一化神经网络提供了自动化的流程。
automatic optimization methodsgeometry of matrix manifoldlayerwise weight normalizationneural networksautomated pipeline
发现论文，激发创造
  • 带有规范化层学习的球形透视

    本文介绍了一个用几何角度来研究具有 Normalization Layers 的神经网络优化的球形框架，首先得出了 Adam 的第一个有效学习率表达式，并表明在存在 NLs 的情况下，仅执行 SGD 实际上等效于限制在单位超球面上的 Adam 变体，最后通过实验证实了之前 Adam 的变体对优化过程的影响。

    Jun, 2020

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 可扩展的模块化规范优化

    在本文中，我们通过定义模块化范数来显著推广了神经网络的权重归一化方法，该范数与网络架构本身一起递归地定义，并展示了它在性能提升和理论分析方面的应用。

    May, 2024

  • 基于黎曼几何的批归一化方法

    通过对 Batch Normalization 层中的权重向量空间进行 Riemannian 测量，从而提出了一种新学习规则，并利用几何特性进行了优化，成功地提高了在各种网络结构和数据集上的性能。

    Sep, 2017

  • 正交权重归一化：深度神经网络中多个相关斯蒂费尔流形的优化方案

    本文提出了一种在前馈神经网络中构造矩阵正交化的正交矩形矩阵方法，该方法被称为在多个相关斯蒂费尔流形的优化中进行正交矩阵的构造，并提出了一种新颖的正交权重归一化方法来解决这一问题，并通过实验表明，将正交线性模块用作标准线性模块的替代品可以大大提高最先进网络（Inception 和 Residual Networks）的性能，特别是在 CIFAR 和 ImageNet 数据集上。

    Sep, 2017

  • 缓解宽神经网络病态尖锐度的规范化方法

    通过量化 Fisher 信息矩阵确定的参数空间的几何，我们揭示了在深度神经网络中，批标准化作为最后一层标准化方法，对减少 Fisher 信息矩阵导致的病态锐度具有明显的贡献。

    Jun, 2019

  • SPD 神经网络的黎曼批归一化

    本文介绍了一种基于 Riemann 流形的批量归一化算法，利用 Riemann 流形上的几何操作和结构化矩阵变换进行设计，提出了一种新的流形约束梯度下降算法，在三个不同的数据类型上进行实验证明其可以提高分类性能和鲁棒性。

    Sep, 2019

  • 卷积归一化：提高深度卷积网络的鲁棒性和训练效果

    介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

    Mar, 2021

  • 神经网络的对角缩放

    定义了一种二阶神经网络随机梯度训练算法，其块对角结构有效地实现了单元激活的归一化，并研究了该算法在稳健性方面的不足之处，揭示了步长缩放的新方式以及处理成本曲率快速变化的重要性。

    May, 2017

  • 深度学习中标准化方法的新诠释

    本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

    Jun, 2020