ICMLMay, 2018

深度神经网络中激活函数的平均场理论

PDF
TL;DR本文提出了深度神经网络的统计力学模型，将基于能量的方法和前馈神经网络方法相连接。模型的平均场解给出了一组自然活化函数，包括 Sigmoid、tanh、ReLu 和 Swish，研究表明 Swish 可以优化网络的性能
statistical mechanicsdeep neural networksfeed forward networksactivationsswish
发现论文，激发创造
  • Sigmoid 信念网络的平均场理论

    本文基于统计力学的思想，发展了一种适用于 Sigmoid 信念网络的均场理论，能够对真实的概率分布进行可追溯的逼近，并提供证据可能性的下限。我们展示了该框架在统计模式识别领域中的实用性，特别是在手写数字分类的基准问题上。

    Mar, 1996

  • 深度神经网络初始化和激活函数的选择

    这篇论文研究了深度神经网络的权重初始化和激活函数对其训练性能的影响，证明了边缘混沌状态具有优异的表现，同时提出了一类叫做 Swish 的激活函数，可以优化信息传递。

    May, 2018

  • 两层神经网络的平均场理论：无维界限和核极限

    本文探讨利用随机梯度下降学习两层神经网络，将神经网络权重的演化近似为概率分布在 R^D 空间中的演化，从而得到概率分布的梯度流方程。我们分析了隐藏单元数量与数据规律性之间的相关性，扩展了此结果到无界激活函数的情况，将此结果应用到噪声随机梯度下降过程中，并展示了如何通过平均场分析特殊限制条件下的核岭回归。

    Feb, 2019

  • 均场剩余网络：朝向混沌的边缘

    本研究旨在证明，通过添加跳跃连接，残差网络将采用基于解析方法确定的次指数正向和反向动态，从而有效地保护输入空间几何形态和梯度信息流。我们证明理论和实证，Xavier 或 He 方案等通用初始方案不是残差网络的最佳选择。

    Dec, 2017

  • 基于特征的建模：用于超参数化深度神经网络的平均场框架

    该研究提出了一种新的均场框架用于超参数化深度神经网络的分析，利用概率分布和在连续极限下的功能来表示 DNN，并通过适当的重新参数化将其训练目标重新表述为凸优化问题，构建了一种称为神经特征流的非线性动力学来捕捉超参数化 DNN 的演化，证明了在均场区域中超参数化神经网络训练具有全局收敛性的首个全局收敛证明。

    Jul, 2020

  • 批归一化的平均场理论

    我们研究了全连接前馈神经网络的批标准化问题，并提出了一种均值场理论。研究表明，批标准化会导致梯度爆炸，而这种爆炸无法通过调节初始权重方差或调整非线性激活函数来消除。然而，我们可以通过将网络调整到线性区域来减少梯度爆炸，从而提高网络的可训练性。此外，我们还研究了批标准化网络的学习动态。

    Feb, 2019

  • 探索随机过程来理解人工神经网络中的激活模式

    使用随机过程模型神经网络中的激活模式，从而提供关于网络行为的有价值洞见。

    Aug, 2023

  • 某些深度神经网络的平均场极限

    本文提出了一种适用于深度神经网络的缩放极限的解决方案，其权重可由被描述为平均场模型的理想粒子近似表示，该问题的关键在于我们的 McKean-Vlasov 问题存在唯一解。

    Jun, 2019

  • 自标准化神经网络

    本文介绍了一种名为自标准神经网络 (SNNs) 的新型前馈神经网络，使用放缩指数线性单元 (SELU) 激活函数，自动进行归一化处理，并具有极高的性能表现，可以在多个机器学习任务中超越标准的前馈神经网络。

    Jun, 2017

  • 流行人工神经网络激活函数的统一

    我们提出了一种统一的神经网络激活函数表示形式，采用分数阶微积分的 Mittag-Leffler 函数，该形式能够插值不同的激活函数并减轻神经网络训练中普遍存在的梯度消失和梯度爆炸等问题。使用 Lenet-5 神经网络在 MNIST 和 CIFAR-10 数据集上训练，我们证明采用统一的门控表示法是传统机器学习框架中内置的激活函数实现的一种有前途且经济的替代方案。

    Feb, 2023