ICLRFeb, 2019

批归一化的平均场理论

PDF
TL;DR我们研究了全连接前馈神经网络的批标准化问题，并提出了一种均值场理论。研究表明，批标准化会导致梯度爆炸，而这种爆炸无法通过调节初始权重方差或调整非线性激活函数来消除。然而，我们可以通过将网络调整到线性区域来减少梯度爆炸，从而提高网络的可训练性。此外，我们还研究了批标准化网络的学习动态。
batch normalizationfully-connected neural networksgradient backpropagationtrainabilitylearning dynamics
发现论文，激发创造
  • 趋向无深度限制的训练：无梯度爆炸的批归一化

    在这项研究中，我们设计了一种带有线性激活函数和批归一化的多层感知机模型，通过 Weingarten 微积分方法从理论上证明了其正向信号传播特性的精确表征，并证明了在线性独立的输入样本情况下渐近地保持梯度有界的特性。同时，我们还提出了一种激活函数塑形方案，能够在某些非线性激活函数下实现类似的特性。

    Oct, 2023

  • 深度随机神经网络中均值场和有限宽度之间的连接 —— 基于批量归一化的研究

    本文研究了多层感知机中深度与均场预测集中性之间的关系，并提出通过批归一化缓解均场预测中的层间误差放大现象，从而建立了无限深度神经网络的均场预测的集中性界限。

    May, 2022

  • 均场剩余网络：朝向混沌的边缘

    本研究旨在证明，通过添加跳跃连接，残差网络将采用基于解析方法确定的次指数正向和反向动态，从而有效地保护输入空间几何形态和梯度信息流。我们证明理论和实证，Xavier 或 He 方案等通用初始方案不是残差网络的最佳选择。

    Dec, 2017

  • 批归一化的指数收敛速率：在非凸优化中实现长度 - 方向解耦的力量

    我们通过对多个机器学习实例进行研究，证明了 Batch Normalization 在优化任务中的加速效果源于其将参数长度和方向分开进行优化，针对这些机器学习问题，Batch Normalization 可以是一种收敛算法。

    May, 2018

  • 两层神经网络的平均场理论：无维界限和核极限

    本文探讨利用随机梯度下降学习两层神经网络，将神经网络权重的演化近似为概率分布在 R^D 空间中的演化，从而得到概率分布的梯度流方程。我们分析了隐藏单元数量与数据规律性之间的相关性，扩展了此结果到无界激活函数的情况，将此结果应用到噪声随机梯度下降过程中，并展示了如何通过平均场分析特殊限制条件下的核岭回归。

    Feb, 2019

  • 深度信息传播

    通过平均场理论研究未经训练的神经网络的行为，并显示相应的深度尺度限制了信号在这些随机网络中传播的最大深度；研究表明，dropout 破坏了有序到混沌临界点，因此强烈地限制了随机网络的最大可训练深度；我们开发了后向传播的平均场理论，证明了有序和混沌相位分别对应于梯度消失和梯度爆炸的区域。

    Nov, 2016

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • 某些深度神经网络的平均场极限

    本文提出了一种适用于深度神经网络的缩放极限的解决方案，其权重可由被描述为平均场模型的理想粒子近似表示，该问题的关键在于我们的 McKean-Vlasov 问题存在唯一解。

    Jun, 2019

  • 广义批量归一化：加速深度神经网络

    提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

    Dec, 2018

  • 多层神经网络均值场极限的严格框架

    本研究发展了多层神经网络的数学严格框架，探究其在平均场条件下的学习轨迹，并证明了一些神经网络的性质，包括全局收敛性和初始化的影响。其中的新概念包括概率嵌入和双向多样性。

    Jan, 2020