本文通过凸优化的视角分析 Batch Normalization，提出了一个基于凸对偶的解析框架，可以精确地描述用 Batch Normalization 训练的带有权重衰减的 ReLU 网络，并证明在高维和过参数化情况下，理论上可以获得一些简单的解析的最优层权重和可训练的凸约束优化问题，并发现梯度下降给标准的非凸 BN 网络提供了算法偏差效应，通过我们的方法可以将这种隐式正则化显性编码到凸目标中，实验结果表明该方法可以模拟和显著提高标准 BN 网络的性能。

Mar, 2021

本研究通过对 ReLU 神经网络的训练过程进行理论性分析，揭示了从随机初始化到最终收敛的整个优化过程，并发现了四个不同阶段，显示了一个从简单到复杂的总体趋势，此外还可以精确地识别和捕捉特定的非线性行为，如初始凝结、鞍点到高原动态、平台逃逸、激活模式的变化、学习随着复杂度的增加等现象。

May, 2023

本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

Jun, 2020

本文阐述了权重初始化对神经网络收敛的关键性，通过研究非线性激活函数的影响，提出了一种通用的权重初始化策略，并解释了为什么 Xavier 初始化在 Rectified Linear Unit 激活函数下效果不佳。

Apr, 2017

本文提出一种归一化技术 —— 分裂归一化法，包括批归一化和层归一化，并发现在使用这种技术时结合对激活函数的稀疏正则化可以提高卷积神经网络和循环神经网络的准确性。

Nov, 2016

通过数学分析和实验证明，在深度网络中引入标准化层（例如批量标准化，层标准化）有利于优化并促进泛化，同时对于包含标准化的一类神经网络，伴随权值衰减的标准化可以鼓励梯度下降到达稳定边缘，并且对于这种情况，可以确定梯度下降的流动轨迹。

Jun, 2022

本文研究了针对常用的修正线性单元（ReLU）激活函数的线性化方法，为将神经网络模型与 ReLU 激活函数结合的优化问题提供了有效解决工具。

Oct, 2023

我们通过对多个机器学习实例进行研究，证明了 Batch Normalization 在优化任务中的加速效果源于其将参数长度和方向分开进行优化，针对这些机器学习问题，Batch Normalization 可以是一种收敛算法。

May, 2018

本文研究两层神经网络的 ReLU 激活函数和平方损失函数的优化方法，利用一种交替迭代算法寻找损失函数的关键点，实验结果显示该算法能够比随机梯度下降和 Adam 优化器更快、更准确地求解深度值，并且该方法没有调参困扰。

Apr, 2023

本论文研究了激活函数对神经网络梯度方差的影响，并提出了一种对激活函数进行归一化的方法，以保持所有层的梯度方差相同，从而提高神经网络的收敛性。研究发现，归一化激活函数可显著提高模型性能。

Aug, 2022