Sep, 2019
用于深度和物理语境下神经网络的具有斜率恢复项的局部自适应激活函数
Locally adaptive activation functions with slope recovery term for deep and physics-informed neural networks
Ameya D. Jagtap, Kenji Kawaguchi, George Em Karniadakis
TL;DR本文提出了两种局部自适应激活函数的方法，分别是逐层自适应激活函数和逐神经元自适应激活函数，它们能够提高深度学习和物理信息神经网络的性能。通过引入每个神经元和每个层级的可扩展参数，我们实现了激活函数的局部调整，并使用一种变种随机梯度下降算法进行优化。此外，本文还采用了基于激活坡度的坡度恢复项以加快训练速度。我们证明了该方法的梯度下降算法在初始化和学习速率等实际条件下不会被吸引到亚最优临界点或局部最小值，而且该方法的梯度动态是不可实现基本方法的任何 (自适应) 学习速率。本文还证明了自适应激活方法通过隐式地乘以条件矩阵来加速基本方法的梯度，并且不需要任何明确的条件矩阵和矩阵向量乘积计算。不同的自适应激活函数说明了产生不同的隐含条件矩阵。此外，本文提出的具有坡度恢复的方法已经被证明可以加速训练过程。